A first step towards streaming continual learning in dynamic environments

Learning from data streams poses significant challenges due to the dynamic and non-stationary nature of data, where the data distribution may evolve over time. Models are therefore required to continuously learn from incoming data, detect changes (i.e., concept drifts), and adapt to new distributions. This work introduces a specific scenario (named Evolving Streaming Time Series) posing additional challenges. It assumes that past knowledge remains relevant or is similar to future knowledge. This situation requires avoiding forgetting previously acquired knowledge. Moreover, the data points are temporally dependent, further complicating the analysis. The present work identifies a critical gap in the literature: existing solutions in the literature largely neglect the interplay between concept drift types, learning continuously, avoiding forgetting, and temporal dependence. To bridge this gap, it introduces a novel paradigm called Streaming Continual Learning (SCL), extended to Temporal SCL (TSCL) to explicitly incorporate temporal dynamics. This unified framework integrates the adaptability of Streaming Machine Learning, the knowledge preservation of Continual Learning, and the temporal modeling capabilities of Time Series Analysis. To concretely embody this vision, the thesis presents a comprehensive benchmarking methodology tailored for ESTS scenarios. This benchmark includes both synthetic and real-world data sources with different types of concept drifts and temporal dependencies. It also introduces specific evaluation protocols that assess online performance, forgetting, and resource usage. Building on this benchmark, several TSCL embodiments are proposed: (i) Continuous Recurrent Neural Networks (cRNN), which model temporal sequences while learning continuously; (ii) Continuous Progressive Neural Networks (cPNNs) and their dynamic variant (DYNcPNN), which start from cRNN and add methodologies for drift-triggered architectural growth with knowledge transfer and forgetting mitigation; (iii) Continuous Piggyback (cPB), which applies a strategy to cRNN to leverage pretrained models via adaptive masking in streaming contexts; and (iv) MAGIC Net, a self-growing model balancing flexibility and compactness by combining the rationales of cPNN and cPB. Furthermore, the Mutual Assisted Learning (MAL) paradigm and its practical instantiation, the Mutual Assisted cPNN (MAcPNN), enable decentralized, collaborative adaptation across multiple agents facing distinct yet related streaming environments in the context of edge computing in Internet of Things scenarios. Extensive experimental results confirm that, since conventional SML models are meant to address rapid adaptation with independent data points, they fail in environments characterized by significant temporal dependence and forgetting challenges. In contrast, the proposed TSCL solutions successfully integrate temporal dependence management with continuous adaptation and knowledge preservation. Overall, this thesis makes a compelling case for the SCL paradigm as a necessary new approach for real-world data streams, delivering both a conceptual framework and concrete, benchmark-validated architectures that address long-standing limitations in the literature and pave the way for robust, real-world continuous learning systems.

Apprendere in contesti streaming presenta sfide significative, dovute principalmente alla natura dinamica e non stazionaria dei dati. In tali scenari, la distribuzione dei dati può evolvere nel tempo. Di conseguenza, i modelli devono apprendere in modo continuo, rilevare eventuali cambiamenti (i.e., concept drift) e adattarsi a nuove distribuzioni. Il presente elaborato introduce uno scenario specifico (denominato Evolving Streaming Time Series) che richiede di affrontare sfide ulteriori. Sotto l'assunzione che la conoscenza acquisita in passato possa rimanere rilevante o possa avere similitudini col futuro, si richiede di evitare il forgetting. Inoltre, i dati sono caratterizzati da dipendenze temporali, introducendo ulteriore complessità. Questa tesi identifica un importante gap nella letteratura: le soluzioni esistenti trascurano in larga parte l'interazione tra i diversi tipi di concept drift, l'apprendimento continuo, la mitigazione del forgetting e la gestione della dipendenza temporale. Per colmare questa lacuna, viene introdotto un nuovo paradigma denominato Streaming Continual Learning (SCL), esteso successivamente a Temporal SCL (TSCL) per includere esplicitamente la dimensione temporale. Questo framework unificato integra l'adattabilità dello Streaming Machine Learning, la conservazione della conoscenza propria del Continual Learning e le capacità di modellazione temporale tipiche della Time Series Analysis. Per tradurre concretamente questa visione, la tesi propone una metodologia di benchmarking completa, progettata per scenari ESTS. Il benchmark comprende sia sorgenti dati sintetiche che reali, caratterizzate da diversi tipi di drift e dipendenze temporali. Inoltre, introduce specifici protocolli di valutazione per misurare la performance online, il forgetting e l'uso delle risorse. A partire da questo benchmark, vengono presentate diverse implementazioni del paradigma TSCL: (i) Le Continuous Recurrent Neural Networks (cRNN), che sono in grado di apprendere in modo continuo modellando sequenze temporali; (ii) Le Continuous Progressive Neural Networks (cPNN) e la loro variante dinamica DYNcPNN, che estendono i cRNN con strategie per l'espansione architetturale guidata dal drift, il trasferimento di conoscenza e la mitigazione del forgetting; (iii) Continuous Piggyback (cPB), che permette di riutilizzare modelli preaddestrati tramite maschere adattive nei contesti streaming; (iv) MAGIC Net, che adotta una strategia auto-espandibile che bilancia flessibilità e compattezza, combinando i principi di cPNN e cPB. Infine, il paradigma Mutual Assisted Learning (MAL) e la sua concretizzazione Mutual Assisted cPNN (MAcPNN) abilitano un adattamento collaborativo e decentralizzato tra più agenti che operano su stream distinti ma correlati, nel contesto di scenari di edge computing e Internet of Things. I risultati sperimentali confermano che, a causa del fatto che i modelli SML convenzionali sono stati pensati per adattarsi rapidamente con osservazioni indipendenti, falliscono in ambienti con forti dipendenze temporali e problemi di forgetting. Al contrario, le soluzioni proposte basate su TSCL dimostrano una solida capacità di integrare l'adattamento continuo con la preservazione della conoscenza e la gestione delle dinamiche temporali. Complessivamente, questa tesi sostiene con forza la necessità del paradigma SCL come nuovo approccio per affrontare i data stream nel mondo reale, fornendo sia un solido framework concettuale che architetture concrete, validate da benchmark, in grado di superare i limiti della letteratura esistente e abilitare sistemi di apprendimento continuo robusti e applicabili in contesti reali.