Evoluzione della Conoscenza nell’Intelligenza Artificiale: Verso Reti Neurali Profonde Robuste e Modulari

Deep neural networks have become a cornerstone of modern Artificial Intelligence due to their remarkable effectiveness and versatility. However, their generalization abilities typically depend on independently and identically distributed data, a condition rarely satisfied in real-world, evolving scenarios. When data distributions shift, models tend to exploit shortcut solutions (including spurious and implicit biases), suffer from catastrophic forgetting, and exhibit limited compositional capabilities. The present thesis explores how neural models can be directed to adapt, preserve, transfer, and compose their capabilities beyond naïve data fitting. The first part focuses on bias mitigation in the absence of explicit protected attributes. Latent clusters are leveraged to form semantic proxy groups that guide optimization away from shortcut learning, thereby improving robustness. The analysis is then extended to continual learning, where rehearsal-based strategies are shown to potentially introduce or amplify malignant correlations unless debiasing signals are properly managed. To address this issue, balanced rehearsal mechanisms are proposed to maintain balance in terms of loss values and mitigate forgetting under distributional shift. The second part investigates multimodal vision–language models, revealing that CLIP-like architectures display implicit, human-analogous biases. Lightweight prompt-steering techniques are introduced to reduce implicit biases in image retrieval and classification. Subsequently, the parameter space is analyzed to determine when task vectors retain transferable knowledge across models trained on distinct datasets, and permutation-based alignment procedures are defined to enable cross-model knowledge transport. Finally, the geometric properties of the loss landscape, particularly its flatness, are shown to predict compatibility when merging multiple fine-tuned models derived from a common pre-training, with practical applications in 3D medical image segmentation. Extensive experimental analyses across diverse datasets and learning paradigms support these findings. Collectively, the contributions outline a four-axis framework of neural network generalization:(i) mitigation of shortcut learning at the data and feature level; (ii) avoidance of spurious correlations in continual learning; (iii) semantic disambiguation in multimodal alignment; and (iv) manipulation of parameter-space geometry for knowledge transfer and model merging. Through this perspective, the thesis advances principles and methodologies for developing adaptive neural systems whose capabilities can be robustly maintained, transferred, and composed.

Le reti neurali profonde sono diventate un pilastro fondamentale dell’Intelligenza Artificiale moderna grazie alla loro straordinaria efficacia e versatilità. Tuttavia, le loro capacità di generalizzazione dipendono tipicamente dall’assunzione che i dati siano indipendenti e distribuiti in modo identico, una condizione raramente soddisfatta negli scenari reali, dinamici ed evolutivi. Quando le distribuzioni dei dati variano, i modelli tendono a sfruttare scorciatoie (inclusi bias spurî e impliciti), a soffrire di catastrophic forgetting e a mostrare capacità compositive limitate. La presente tesi esplora come i modelli neurali possano essere guidati ad adattare, preservare, trasferire e comporre le proprie capacità oltre il semplice data fitting. La prima parte si concentra sulla mitigazione del bias in assenza di attributi protetti espliciti. Si sfruttano cluster latenti per formare gruppi semantici proxy che orientano l’ottimizzazione lontano dall’apprendimento di scorciatoie, migliorando così la robustezza. L’analisi viene poi estesa al continual learning, dove le strategie basate su rehearsal possono introdurre o amplificare correlazioni spurie se i segnali di debiasing non vengono gestiti correttamente. Per affrontare tale problema, vengono proposti meccanismi di rehearsal bilanciati, capaci di mantenere l’equilibrio in termini di valori di loss e mitigare correlazioni spurie sotto cambiamenti di distribuzione. La seconda parte indaga i modelli multimodali visione–linguaggio, rivelando che architetture simili a CLIP manifestano bias impliciti analoghi a quelli umani. Si introducono tecniche leggere di prompt steering per ridurre i bias impliciti nei compiti di image retrieval e classificazione. Successivamente, viene analizzato lo spazio dei parametri per determinare quando i task vector mantengono conoscenza trasferibile tra modelli addestrati su dataset distinti, e vengono definite procedure di allineamento basate su permutazioni per consentire il trasporto di conoscenza tra modelli. Infine, si dimostra che le proprietà geometriche del loss landscape, in particolare la sua piattezza, predicono la compatibilità tra modelli fine-tuned derivati da un pretraining comune, con applicazioni pratiche nella segmentazione medica 3D. Analisi sperimentali approfondite su diversi dataset e paradigmi di apprendimento supportano questi risultati. Complessivamente, i contributi delineano un quadro a quattro assi della generalizzazione nelle reti neurali: (i) mitigazione dell’apprendimento di scorciatoie a livello di dati e feature; (ii) prevenzione delle correlazioni spurie nel continual learning; (iii) disambiguazione semantica nell’allineamento multimodale; (iv) manipolazione della geometria dello spazio dei parametri per il trasferimento di conoscenza e il model merging. Attraverso questa prospettiva, la tesi propone principi e metodologie per lo sviluppo di sistemi neurali adattivi le cui capacità possano essere mantenute, trasferite e composte in modo robusto.