AI meets high-dimensional parametric systems: reduced order modeling and real-time optimal control

High-dimensional systems, such as those governed by partial differential equations (PDEs), pose a major challenge in applied sciences and engineering. Traditional full-order methods suffer from the curse of dimensionality due to their computational burden, as many degrees of freedom are required to accurately capture system evolutions, thus preventing real-time simulations and optimal control strategies. An additional layer of complexity is represented by parametric systems, with many high-dimensional problems to be solved as the underlying scenario undergoes variations, making it difficult to build models that generalize across the full parameter range. This Thesis presents a wealth of data-driven reduced order modeling and real-time optimal control strategies in the context of artificial intelligence and, more specifically, scientific machine learning, to break the curse of dimensionality and circumvent the prohibitive computational complexity of conventional numerical methods. Reduced order modeling leverages low-dimensional patterns shared across parameters to retrieve efficient proxies of the original physical system. Traditional dimensionality reduction techniques are typically intrusive, based on a linear superimposition of modes, limited to known and constant parameters, and inefficient for nonlinear and chaotic dynamics. In this Thesis, we propose a decoding-only shallow recurrent decoder networks-based reduced order modeling (SHRED-ROM) technique capable of efficiently reconstructing high-dimensional state dynamics in multiple scenarios starting from the temporal history of limited sensor measurements, while being agnostic to sensor placement and parameter values. Reduced order models are fundamental to steer high-dimensional, parametric systems towards desired target configurations in very rapid times. Within the scope of imitation learning, we propose deep learning-based open-loop and feedback controllers that mimic the behavior of an expert demonstrator at the latent or reduced level, enabling real-time (possibly distributed) control strategies in multiple scenarios. Whenever expert demonstrations are not available, decentralized multi-agent reinforcement learning (MARL) algorithms specialize multiple agents through different environment interactions, while relying solely on local state and reward information. To overcome the principle of locality and promote collective, nonlocal behaviors of the agents, we propose a hypernetwork-based positional encoding for multi-agent reinforcement learning (HypeMARL) where hypernetworks effectively parametrize the agents’ policies with respect to the system parameters and the positional encoding of the agents’ relative positions. In both frameworks, we synthesize computationally efficient deep learning-based surrogate models of the local or reduced dynamics to enhance sample efficiency and to close the loop at the latent level, thus allowing for continuous control strategies even in the case of missing online state data due to, e.g., sensor malfunctions, communication delays, or computationally demanding physical simulations.

I sistemi ad alta dimensionalità, come quelli governati da equazioni alle derivate parziali, rappresentano una delle principali sfide nelle scienze applicate e nell'ingegneria. I metodi numerici tradizionali sono computazionalmente onerosi quando applicati a sistemi ad alta dimensionalità, poiché richiedono un gran numero di gradi di libertà per descrivere accuratamente l'evoluzione del sistema, non consentendo simulazioni in tempo reale e strategie di controllo ottimo in tempo reale. Un ulteriore livello di complessità è rappresentato dai sistemi parametrici, nei quali è necessario risolvere numerosi problemi ad alta dimensionalità al variare dello scenario sottostante. Ciò rende difficile costruire modelli in grado di generalizzare sull'intero intervallo dei parametri. Questa tesi presenta un'ampia gamma di strategie di modellazione a ordine ridotto e di controllo ottimo in tempo reale basate sui dati, sviluppate nell'ambito dell'intelligenza artificiale, con l'obiettivo di aggirare l'elevata complessità computazionale dei metodi numerici convenzionali. I modelli di ordine ridotto sfruttano la presenza di strutture a bassa dimensionalità condivise tra differenti configurazioni parametriche per costruire rappresentazioni efficienti del sistema fisico originale. Le tecniche tradizionali di riduzione della dimensionalità sono generalmente intrusive, si basano su una sovrapposizione lineare di modi, sono limitate a parametri noti e costanti e risultano poco efficaci nel descrivere dinamiche non lineari e caotiche. In questa tesi proponiamo SHRED-ROM, un modello di ordine ridotto basato esclusivamente su una rete neurale ricorrente e una rete neural densa, capace di ricostruire in modo efficiente la dinamica di stati ad alta dimensionalità in molteplici scenari a partire dalla storia temporale di un numero limitato di sensori, risultando al contempo indipendente dalla loro disposizione e dai valori dei parametri. I modelli a ordine ridotto costituiscono uno strumento fondamentale per guidare sistemi parametrici ad alta dimensionalità verso configurazioni desiderate in tempi estremamente ridotti. Nell'ambito dell'apprendimento per imitazione, proponiamo controllori basati su reti neurali, in grado di imitare il comportamento di un dimostratore esperto nello spazio latente o ridotto, consentendo strategie di controllo in tempo reale, anche distribuite, in molteplici scenari. Quando non sono disponibili dimostrazioni da cui imparare, algoritmi multi-agente decentralizzati di apprendimento per rinforzo permettono a più agenti di specializzarsi attraverso l'interazione con l'ambiente, facendo affidamento esclusivamente su informazioni locali di stato e ricompensa. Per superare il principio di località e favorire comportamenti collettivi e non locali, proponiamo HypeMARL, un approccio basato su hypernetwork e positional encoding per l'apprendimento per rinforzo, nel quale le hypernetwork parametrizzano efficacemente i controllori degli agenti in funzione dei parametri del sistema e delle loro posizioni relative. In entrambi gli approcci sviluppiamo modelli surrogati delle dinamiche locali o ridotte basati su reti neurali, computazionalmente efficienti, al fine di migliorare l'efficienza e chiudere l'anello di controllo nello spazio latente. Ciò consente di implementare strategie di controllo continuo anche in assenza di dati di stato disponibili in tempo reale, ad esempio a causa di malfunzionamenti dei sensori, ritardi nelle comunicazioni o dell'elevato costo computazionale delle simulazioni fisiche.