Multi-Task Learning in Black-box Optimization

The increasing complexity of modern scientific and machine learning applications has brought renewed attention to black-box optimization, where objective functions are expensive to evaluate and lack analytical form. In many real-world scenarios, optimization must simultaneously handle multiple competing objectives, heterogeneous information sources with different fidelities, and even combinatorial design spaces. This thesis addresses these challenges by developing novel methods and frameworks that advance the state of the art in multi-objective and multi-fidelity black-box optimization. The first contribution of this work concerns the design of Wasserstein-enabled Multi-Objective Evolutionary Algorithms. By incorporating the Wasserstein distance into key components of NSGA-II and MOEA/D, the proposed methods improve the balance between convergence and diversity in Pareto front approximations. A novel binary crossover operator is also introduced. All algorithms were implemented in the pymoo framework and empirically validated on standard benchmarks and real-world problems, showing improved performance over classical counterparts. The second main contribution extends the Augmented Gaussian Process (AGP) framework to new settings within Bayesian optimization. A combinatorial variant, based on genetic algorithms for acquisition function optimization, enables AGP to efficiently handle discrete and constrained spaces. Furthermore, AGP is extended to the multi-objective and multi-information source case, resulting in the MISO-AGP model, capable of jointly learning from multiple fidelities and objectives. The AGP has been contributed to the open-source BoTorch library, extending its usability to a broader class of problems. A third contribution of this thesis lies in the formulation of several real-world problems under the proposed optimization paradigms. These include multi-objective formulations of Optimal Sensor Placement (OSP) and Recommender Systems, multi-fidelity extensions of Risk-Averse OSP and Binary Quadratic Programming, and a multi-objective multi-fidelity formulation of Hyperparameter Optimization in machine learning. Such reformulations demonstrate the flexibility and applicability of the proposed methods across diverse domains. Comprehensive experimental analyses confirm the effectiveness of the proposed approaches in terms of convergence, cost-efficiency, and ecological impact. In particular, Wasserstein-based MOEAs achieve improved coverage of the Pareto front, while the MISO-AGP algorithm efficiently leverages multiple information sources to reduce computational cost. All code and experimental material have been made publicly available, ensuring transparency and reproducibility. Overall, this thesis contributes both methodological and practical advances to the fields of evolutionary and Bayesian optimization. By integrating Wasserstein geometry, Gaussian process modeling, and multi-fidelity reasoning, it provides a unified and extensible framework for efficient and sustainable optimization of complex black-box systems.

La crescente complessità delle moderne applicazioni scientifiche e di machine learning ha riportato l’attenzione sull’ottimizzazione black-box, in cui le funzioni obiettivo sono costose da valutare e prive di forma analitica. In molti scenari reali, l’ottimizzazione deve affrontare simultaneamente obiettivi multipli e spesso in competizione, sorgenti di informazione eterogenee con diversi livelli di fedeltà, e perfino spazi di progettazione combinatori. Questa tesi affronta tali sfide sviluppando nuovi metodi e framework che avanzano lo stato dell’arte nell’ambito dell’ottimizzazione black-box multi-obiettivo e multi-fedeltà. Il primo contributo di questo lavoro riguarda la progettazione di Algoritmi Evolutivi Multi-Obiettivo basati sulla distanza di Wasserstein. Integrando la distanza di Wasserstein nei componenti chiave di NSGA-II e MOEA/D, i metodi proposti migliorano l’equilibrio tra convergenza e diversità nelle approssimazioni del fronte di Pareto. Viene inoltre introdotto un nuovo operatore di binary crossover. Tutti gli algoritmi sono stati implementati nel framework pymoo e validati empiricamente su benchmark standard e problemi reali, mostrando prestazioni superiori rispetto ai metodi classici. Il secondo contributo principale estende il framework dell’Augmented Gaussian Process (AGP) a nuovi contesti di ottimizzazione bayesiana. Una variante combinatoria, basata su algoritmi genetici per l’ottimizzazione della funzione di acquisizione, consente ad AGP di gestire in modo efficiente spazi discreti e vincolati. Inoltre, AGP è stato esteso al caso multi-obiettivo e multi-sorgente informativa, dando origine al modello MISO-AGP, capace di apprendere congiuntamente da sorgenti di diversa fedeltà e da più obiettivi. L’AGP è stato inoltre integrato nella libreria open-source BoTorch, ampliandone l’usabilità a una classe più ampia di problemi. Un terzo contributo di questa tesi risiede nella formulazione di diversi problemi reali all’interno dei paradigmi di ottimizzazione proposti. Tra questi figurano formulazioni multi-obiettivo del Optimal Sensor Placement (OSP) e dei Recommender Systems, estensioni multi-fedeltà dell’OSP risk-averse e della Binary Quadratic Programming, e una formulazione multi-obiettivo e multi-fedeltà per l’ottimizzazione degli iperparametri in ambito machine learning. Tali riformulazioni dimostrano la flessibilità e l’applicabilità dei metodi proposti in domini diversi. Analisi sperimentali approfondite confermano l’efficacia degli approcci proposti in termini di convergenza, efficienza dei costi e impatto ecologico. In particolare, gli algoritmi evolutivi basati su Wasserstein ottengono una migliore copertura del fronte di Pareto, mentre l’algoritmo MISO-AGP sfrutta efficacemente più sorgenti informative per ridurre il costo computazionale. Tutto il codice e il materiale sperimentale sono stati resi pubblicamente disponibili, garantendo trasparenza e riproducibilità. Complessivamente, questa tesi apporta progressi sia metodologici sia pratici nei campi dell’ottimizzazione evolutiva e bayesiana. Integrando la geometria di Wasserstein, la modellazione tramite Gaussian Process e il ragionamento multi-fedeltà, essa fornisce un quadro unificato ed estensibile per l’ottimizzazione efficiente e sostenibile di sistemi black-box complessi.