Enhancing Trustworthiness via Explanation Robustness and Aggregations

This Thesis focuses on the trustworthiness of eXplainable Artificial Intelligence (XAI) approaches, with a focus on the fields of insurance and asset management. As a first research direction, this work investigates the role of explanation robustness to increase the system’s trustworthiness. Robustness is, in fact, an essential property of both Artificial Intelligence (AI) systems and their explanations, but may be overlooked at times. Popular XAI techniques such as LIME and SHAP have been proved to be highly unstable but are still widely used in high-risk real-world applications. The second research direction posits that an aggregation of explanations may increase trustworthiness, providing a more conservative explanation. In particular, assuming that one of the individual explanations may fail or be non-robust for a single datapoint, an aggregation of explanation would be able to account for this and provide a single explanation that summarizes multiple points of view. Critically, XAI methods suffer from the disagreement problem, that is, may at times return explanations that disagree with one another. An aggregation can be constructed to deal with this aspect and increase the overall trustworthiness of the AI system. These aspects have been investigated with respect to a single model and multiple XAI approaches applied to it, as well as with respect to explanations derived from different Machine Learning models. Results have shown that explanation aggregation as well as robustness evaluation are useful tools towards the development and deployment of trustworthy AI solutions.

Questa Tesi si focalizza sulla affidabilità delle tecniche di Intelligenza Artificiale Spiegabile (in inglese, eXplainable Artificial Intelligence, XAI di seguito), con un focus sugli ambiti assicurativo e degli investimenti. Come prima direzione di ricerca, questo lavoro analizza il ruolo della robustezza delle spiegazioni al fine di aumentare l'affidabilità dei sistemi. La robustezza è, infatti, una proprietà essenziale sia dei sistemi di Intelligeza Artificiale (IA) che delle loro spiegazioni, ma talvolta risulta un aspetto trascurato. E' stato verificato come approcci di XAI molto popolari, ad esempio LIME e SHAP, siano molto instabili nonostante il loro vasto utilizzo in applicazioni reali ad alto rischio. La seconda direzione di ricerca assume che una aggregazione di spiegazioni possa aumentare l'affidabilità. In particolare, assumendo che una delle singole spiegazioni possa fallire o risultare non robusta per uno specifico datapoint, una aggregazione di spiegazioni è in grado di tenere conto di questa vulnerabilità e proporre una singola spiegazione che riassuma molteplici punti di vista. E' importante sottolineare che i metodi di XAI sono soggetti al problema della discordanza (disagreement problem). Una aggregazione può quindi essere costruita per affrontare questi aspetti e aumentare l'affidabilità del sistema di IA. Questi aspetti sono stati analizzati rispetto a un singolo modello e molteplici approcci XAI applicati ad esso, ma anche rispetto a spiegazioni derivanti da diversi modelli di apprendimento automatico. I risultati ottenuti dimostrano che la aggregazione di spiegazioni, così come la valutazione della robustezza, siano strumenti utili per lo sviluppo e l'utilizzo di soluzioni IA affidabili.