Adaptive Deep Learning Methods for Multiple Time Series Analysis

Time series analysis is a critical component in numerous fields, enabling proactive decision-making in areas such as energy, traffic, pollution, computer networks, healthcare and finance. Prominent use cases in the energy domain are the forecasting of electricity demand and of renewable energy production, allowing for the efficient management of power grid stability. For traffic, it is used to optimize public transportation and manage congestions, improve safety, and lower the environmental impact. It also finds use cases in cybersecurity, due to network traffic data being timestamped and continuously generated, to detect anomalies or categorize traffic. In the last decades, the rapid growth of Artificial Intelligence (AI) has fostered an increase in the capabilities of time series analysis systems, both in terms of accuracy and their ability to work with more complex types of data. Starting from statistical and analytical tools to model time series with a single variable, such as autoregressive models, to more advanced machine learning models able to learn more complex non-linear interactions among multiple variables, such as random forests and support vector machines, to the more recent deep learning methods, that can learn from highly dimensional data in an end-to-end way, even across very large time gaps. However, when applying these advanced methods to graph-structured data with a spatial dimension, such as distributed sensor networks, new challenges emerge. In these scenarios, temporal and spatial dependencies are interconnected, and they must be taken into account simultaneously to properly model the phenomenon at hand and obtain accurate forecasts. Standard deep learning methods commonly used in forecasting tasks, such as Long Short-Term Memory (LSTM) networks, are unable to properly consider the spatial dimension, losing important information. Recently, a new promising thread of research is related to Graph Neural Networks (GNN), which are able to learn abstract representations on graphs, by taking into account the relationships between nodes. This kind of techniques can be coupled with time-sensitive models to holistically model spatio-temporal interactions in these complex scenarios. Additionally, deep learning models typically suffer from high computational cost, especially when trained on graph data with a high number of nodes and when the number of model parameters is high. Many attempts to improve efficiency of deep learning models exist, but there is a lack of methods to improve the scalability of forecasting models for geo-distributed domains specifically. Another crucial aspect of deep learning models is that of explainability. In fact, they act as black boxes, providing opaque predictions that are hard to explain. Explainable Artificial Intelligence (XAI) is the branch of research that strives to obtain interepretable models and predictions. Many approaches do exist, but they often focus on a single axis of analysis (e.g. finding node submasks in a graph), while there is a lack of methods for holistic explanations of spatio-temporal data. In this thesis, we tackle the three above-mentioned main challenges related to time series analysis in distributed sensor networks. To address these challenges, we have designed novel neural architectures, model frameworks and algorithms, providing promising contributions to the field. Experiments conducted on several datasets, including geo-distributed sensor network data across several domains, and comparisons with other state-of-the-art methods, have demonstrated the competitiveness of the methods proposed in this thesis in extracting spatio-temporal autocorrelation, improving the scalability, and providing better explanations of time series forecasting models in 3D spatio-temporal data. The implications of this research potentially extend beyond time series analysis, offering new directions of the application of deep learning in the analysis of graph-structured data.

L'analisi di serie temporali è una componente fondamentale in molti contesti, per fornire supporto proattivo alle decisioni in aree come quella energetica, del traffico, dell'inquinamento, e della cyber-sicurezza. I principali casi d'uso nel settore energetico sono la previsione della domanda energetica e della produzione di energia da fonti rinnovabili, per consentire una maggiore stabilità della rete energetica. Per il traffico, è usata per ottimizzare il trasporto pubblico, gestire traffico intenso, e ridurre l'impatto ambientale. In cyber-sicurezza, viene usata per rilevare anomalie o categorizzare il traffico di rete, dato che esso è generato continuamente ed è marcato temporalmente. Negli ultimi decenni, la rapida crescita dell'Intelligenza Artificiale (IA) ha favorito un incremento delle capacità dei sistemi di analisi di serie temporali, sia in termini di accuratezza che nella loro abilità di modellare tipi di dati complessi. Partendo da strumenti statistici per modellare serie temporali univariate, come i modelli autoregressivi, verso modelli di machine learning più avanzati in grado di apprendere interazioni complesse tra molteplici variabili, fino ai più recenti metodi di deep learning, in grado di apprendere da dati ad alta dimensionalità in modalità end-to-end, anche attraverso grandi intervalli temporali. Tuttavia, quando tali metodi vengono applicati a dati organizzati a grafo con una dimensione spaziale, come le reti di sensori distribuite, nuovi problemi emergono. In questi scenari, le dipendenze temporali e spaziali sono interconnesse, e devono essere considerate contemporaneamente per modellare correttamente in fenomeno in esame. Metodi di deep learning comunemente adottati per task di previsione, come le reti Long Short-Term Memory (LSTM), non sono in grado di considerare adeguatamente la dimensione spaziale, perdendo informazioni cruciali. Una nuova promettente linea di ricerca è quella relativa alle reti neurali a grafo (GNN), in grado di apprendere rappresentazioni astratte sui grafi, tramite le informazioni sulle relazioni tra i nodi. Esse possono essere adottate in congiunzione a modelli temporali per modellare le interazioni spazio-temporali di questi scenari complessi. Inoltre, i modelli di deep learning tipicamente soffrono di un alto costo computazionale, soprattutto se addestrati su dati a grafo con un alto numero di nodi o se il numero di parametri del modello è elevato. Esistono svariati approcci per migliorare l'efficienza dei modelli di deep learning, ma c'è una carenza di metodi mirati specificamente a migliorare la scalabilità dei modelli di previsione per domini geo-distribuiti. Un altro aspetto cruciale dei modelli di deep learning è la loro spiegabilità. Infatti, essi costituiscono delle black box, fornendo predizioni opache che sono difficili da spiegare. Molti approcci di explainable artificial intelligence (XAI) esistono, ma spesso si focalizzano su un singolo asse di analisi (ad esempio trovare sottomaschere di un grafo), mentre c'è scarsità di metodi per fornire spiegazioni su dati spazio-temporali. In questa tesi, affrontiamo le tre challenge appena descritte. Per rispondere a queste challenge, abbiamo progettato nuove architetture neurali, framework e algoritmi, fornendo contributi significativi in questo campo. Gli esperimenti condotti su vari dataset, inclusi dati provenienti da reti di sensori geo-distribuiti provenienti da vari domini, e i confronti con altri metodi allo stato dell'arte, hanno dimostrato la competitività dei metodi proposti in questa tesi nell'estrarre autocorrelazione spazio-temporale, nel migliorare la scalabilità, e nel fornire migliori spiegazioni per modelli di previsione di serie temporali su dati 3D spazio-temporali. Le implicazioni di questa ricerca si estendono potenzialmente oltre l'analisi di serie temporali, fornendo nuove direzioni riguardo l'applicazione del deep learning per l'analisi di dati strutturati a grafo.