Meta-learning for data-driven control system design: theory and applications

Learning controllers and estimators from data broadens the technology's accessibility, shifting the focus from the design of a problem-specific solution to the design of methods for solving several problems. However, collecting the necessary data for these learning methods can be costly or challenging. In such scenarios, leveraging past, similar experiences can be advantageous. Learning models suitable for similar systems and tasks go by the name of meta-learning, a rapidly growing set of machine learning tools that allow the sharing of information available in distributions that are not identical. This thesis introduces a collection of meta-learning techniques for control and estimation, to reduce the data the algorithms require to deliver performing results. The contributions of this work are motivated by practical needs, exemplified by the data-driven design of a controller for brushless DC electric motors (BLDC), where a trade-off between performance and the amount of data available emerges. The intuition to mitigate this effect without collecting further data from the system is that when prior on solved similar problems is available, meta-learning can be used to boost the performance. In practice, we show how it can be used to initialize key hyperparameters of black-box optimization techniques like Set-Membership Global Optimization (SMGO), leading to faster convergence to the solution. Alternatively, meta-learning is suitable for improving model reference control techniques by combining previously tuned controllers for similar systems to obtain a performing controller for a new one, retaining the speed of direct methods. This approach is validated with experiments on BLDC motors and further improved by allowing for the auto-tuning of the reference model. Finally, the novel in-context learning paradigm is leveraged for designing model-free controllers and estimators. Unlike other meta-learning approaches, which exploits previously available prior from similar systems, this approach assumes knowledge of a simulator that can generate data from systems within a common class. With a Transformer, an architecture powerful enough to model the complexity of an entire class of systems, we show how we can obtain a unified mathematical description suitable for controlling or filtering multiple plants. When deployed, this powerful architecture can recognize the particular instance of the class it has been trained on, to deliver improved performance.

L'apprendimento di controllori e stimatori a partire dai dati amplia l'accessibilità della tecnologia, spostando l'attenzione dalla progettazione di soluzioni specifiche per un problema alla progettazione di metodi per risolvere più problemi. Tuttavia, raccogliere i dati necessari per questi metodi di apprendimento può essere costoso o difficoltoso. In tali scenari, sfruttare esperienze passate simili può risultare vantaggioso. I modelli di apprendimento adatti a sistemi e compiti simili sono noti come meta-apprendimento, un insieme in rapida crescita di strumenti di machine learning che permettono la condivisione di informazioni provenienti da distribuzioni non identiche. Questa tesi introduce una serie di tecniche di meta-apprendimento per il controllo e la stima, con l'obiettivo di ridurre la quantità di dati necessaria affinché gli algoritmi forniscano risultati performanti. I contributi di questo lavoro sono motivati da esigenze pratiche, come nel caso del design data-driven di un controllore per motori elettrici brushless DC (BLDC), dove emerge un compromesso tra prestazioni e la quantità di dati disponibili. L'intuizione per mitigare questo effetto senza raccogliere ulteriori dati dal sistema è che, quando sono disponibili informazioni precedenti su problemi simili già risolti, il meta-apprendimento può essere utilizzato per migliorare le prestazioni. In pratica, mostriamo come il meta-apprendimento possa essere usato per inizializzare iperparametri chiave di tecniche di ottimizzazione a scatola nera come la Set-Membership Global Optimization (SMGO), portando a una convergenza più rapida alla soluzione. In alternativa, il meta-apprendimento è adatto per migliorare le tecniche di controllo a riferimento di modello, combinando controllori precedentemente tarati per sistemi simili, in modo da ottenere un controllore performante per un nuovo sistema, mantenendo la velocità dei metodi diretti. Questo approccio è stato validato con esperimenti su motori BLDC e ulteriormente migliorato permettendo l'auto-tuning del modello di riferimento. Infine, viene sfruttato il nuovo paradigma di apprendimento contestuale per progettare controllori ed estimatori senza modello. A differenza di altri approcci di meta-apprendimento, che si basano su informazioni precedenti provenienti da sistemi simili, questo approccio assume la conoscenza di un simulatore in grado di generare dati da sistemi appartenenti a una classe comune. Utilizzando un Transformer, un'architettura abbastanza potente da modellare la complessità di un'intera classe di sistemi, mostriamo come è possibile ottenere una descrizione matematica unificata, adatta per il controllo o il filtraggio di più impianti. Quando viene impiegata, questa potente architettura è in grado di riconoscere l'istanza particolare della classe su cui è stata addestrata, fornendo così prestazioni migliorate.