Bridging reduced order modeling and operator learning for parameterized physical systems

Deep learning-based reduced order models (DL-ROMs) merge concepts and methods of model reduction and deep learning to devise architectures and algorithms for the fast and accurate simulation of parameterized physical systems. Specifically, they discover the intrinsic coordinates representing the system at hand using dimensionality reduction approaches. Such compact representation is then leveraged by a suitable neural network to assemble model proxies for the simulation of the considered physical process. DL-ROMs, along with many other surrogate models, are of paramount importance in scientific computing as they enable data-driven algorithms and applications in fields where experimental data are not available and high-fidelity simulation data are computationally costly to acquire. DL-ROMs have already found applications in a wide variety of scientific disciplines with excellent results. However, a complete theoretical understanding of their working mechanisms is still at its infancy. In this respect, in the first part of this Thesis, we provide advances in the theoretical backbone underpinning certain DL-ROMs and their building blocks. The purpose of such analysis is to enable a more appropriate calibration of the design hyperparameters of the surrogate model at hand. In the second part of this Thesis, we identify the limits of the original DL-ROMs' formulation and design to address some of the main challenges brought by applications. In particular, we first aim to tackle extreme data scarcity, where the available simulation data are not even adequate to suitably train the surrogate model. Moreover, we plan to enhance the versatility of DL-ROMs to widen their range of applications to a larger class of physical systems, including problems with parameterized domains. In doing so, our design choices remain driven by the mathematical properties of the considered physical problem. In a nutshell, the ultimate purpose of this Thesis is to take a step forward in the development of next-generation DL-ROMs, which we intend to be versatile yet lightweight and endowed with solid mathematical design principles.

I DL-ROM combinano concetti e metodi di riduzione di modello e di "deep learning" per sviluppare architetture e algoritmi al fine di simulare in modo efficiente sistemi fisici complessi. In particolare, tali modelli apprendono una rappresentazione latente basso-dimensionale del sistema fisico considerato attraverso strategie di riduzione della dimensionalità. Questa rappresentazione compatta viene poi utilizzata da una rete neurale per assemblare un modello surrogato del processo fisico considerato. I DL-ROM, insieme a molti altri modelli surrogati, sono fondamentali nell'ambito del calcolo scientifico dato che rendono attuabili applicazioni e algoritmi che necessitano di una grande mole di dati in campi dove i dati sperimentali non sono disponibili e le simulazioni numeriche ad alta fedeltà sono eccessivamente costose. I DL-ROM sono stati applicati con successo in svariati campi. Tuttavia, una comprensione completa dei loro meccanismi di funzionamento è ancora agli albori. A tal proposito, nella prima parte di questa Tesi, proponiamo nuovi sviluppi dello scheletro teorico alla base di alcuni DL-ROM e dei loro principali elementi costitutivi. L'obiettivo dell'analisi è di rendere possibile una calibrazione più appropriata delle componenti dell'architettura scelta. Nella seconda parte di questa Tesi, identifichiamo i principali limiti della formulazione originale dei DL-ROM riscontrati nelle applicazioni. In particolare, prima affrontiamo il problema della scarsità di dati estrema, in cui i dati provenienti da simulazioni non sono nemmeno sufficienti per allenare il modello surrogato. Inoltre, progettiamo un miglioramento della versatilità dei DL-ROM per ampliare la loro gamma di applicazioni, con particolare attenzione a problemi parametrizzati geometricamente. Nel farlo, adottiamo strategie guidate dalle proprietà matematiche dei problemi fisici considerati. In breve, l'obiettivo principale della Tesi è quello di fare progressi nello sviluppo di DL-ROM di nuova generazione, basati su architetture snelle e versatili, e dotati di solide linee guida per la loro progettazione.