Enhancing the Explainability and Reliability of AI support for Informed Healthcare Decisions

The integration of Artificial Intelligence (AI) into healthcare decision-making is transforming the way healthcare providers approach clinical decisions. However, the complexity and opacity of many AI systems can impede their adoption and effective use by healthcare professionals. This research addresses these challenges by presenting novel methods to enhance the explainability and calibration of AI support systems in healthcare. Our approach leverages and extends Explainable AI (XAI) methods to improve the interpretability of AI systems for end-users, focusing on innovative strategies to optimize key components of XAI—namely the explanans, explanandum, and the explanatory relationship—within the context of healthcare AI systems. Beyond explainability, the research also explores techniques to enhance the calibration of AI predictions, a critical measure of reliability. Advanced calibration methods are investigated to provide deeper insights into prediction uncertainty. This work adopts a dual approach, combining user-centric explainability with robust calibration techniques. It develops strategies to enhance the interpretability and readability of machine learning models while simultaneously improving model calibration. The research objectives are threefold: (1) to define new calibration metrics and methods tailored for clinical decision-making, (2) to enhance human-AI collaboration through user-centric frameworks, and (3) to evaluate the effectiveness of various XAI configurations in medical decision-making. Key contributions of this research include the introduction of novel calibration metrics such as the Estimated Calibration Index (ECI) and Global Interpretable Calibration Index (GICI), the development of innovative recalibration techniques using confidence intervals, and the proposal of new frameworks for human-AI collaboration. These frameworks—'frictional AI', designed to introduce controlled friction points in the decision-making process; 'judicial AI'; and 'evidence-based XAI'—are tailored to enhance the interaction between healthcare professionals and AI systems. The research also assesses the impact of different XAI tools on diagnostic accuracy and user confidence. The findings present a comprehensive strategy for optimizing AI support in healthcare decision-making, effectively bridging the gap between transparent, interpretable AI systems and well-calibrated, trustworthy predictions. The novel metrics, techniques, and frameworks developed have significant implications for the responsible and effective deployment of AI in clinical settings, with the potential to improve patient care and health outcomes, thereby making a substantial contribution to the field of AI in healthcare.

L’integrazione dell’Artificial Intelligence (AI) nel processo decisionale sanitario sta trasformando il modo in cui i professionisti della salute affrontano le decisioni cliniche. Tuttavia, la complessità e l’opacità di molti sistemi AI possono ostacolare la loro adozione e l’uso efficace da parte dei professionisti sanitari. Questa ricerca affronta queste sfide presentando metodi innovativi per migliorare la spiegabilità e la calibrazione dei sistemi di supporto AI in ambito sanitario. Il nostro approccio sfrutta e amplia i metodi di Explainable AI (XAI) per migliorare l’interpretabilità dei sistemi AI per gli utenti finali, concentrandosi su strategie innovative per ottimizzare componenti chiave dell’XAI, ovvero l’explanans, l’explanandum e la relazione esplicativa nel contesto dei sistemi AI per la sanità. Oltre alla spiegabilità, la ricerca esplora anche tecniche per migliorare la calibrazione delle predizioni dell’AI, una misura critica di affidabilità. Vengono investigate avanzate tecniche di calibrazione per fornire una comprensione più approfondita dell’incertezza delle predizioni. Questo lavoro adotta un approccio duplice, combinando una spiegabilità centrata sull’utente con tecniche di calibrazione robuste. Sviluppa strategie per migliorare l’interpretabilità e la leggibilità dei modelli di machine learning, migliorando al contempo la calibrazione del modello. Gli obiettivi della ricerca sono tre: (1) definire nuovi metriche e metodi di calibrazione specifici per il processo decisionale clinico, (2) migliorare la collaborazione uomo-AI attraverso framework centrati sull’utente e (3) valutare l’efficacia di diverse configurazioni XAI nel processo decisionale medico. I contributi principali di questa ricerca includono l’introduzione di nuove metriche di calibrazione come l’Estimated Calibration Index (ECI) e il Global Interpretable Calibration Index (GICI), lo sviluppo di tecniche innovative di ricalibrazione utilizzando intervalli di confidenza, e la proposta di nuovi framework per la collaborazione uomo-AI. Questi framework, ‘frictional AI’, progettato per introdurre punti di attrito controllato nel processo decisionale; ‘judicial AI’; e ‘evidence-based XAI’ sono pensati per migliorare l’interazione tra i professionisti della salute e i sistemi AI. La ricerca valuta inoltre l’impatto di diversi strumenti XAI sull’accuratezza diagnostica e sulla fiducia degli utenti. I risultati presentano una strategia completa per ottimizzare il supporto dell’AI nel processo decisionale sanitario, colmando efficacemente il divario tra sistemi AI trasparenti e interpretabili e predizioni ben calibrate e affidabili. Le metriche, le tecniche e i framework innovativi sviluppati hanno implicazioni significative per il deployment responsabile ed efficace dell’AI in contesti clinici, con il potenziale di migliorare l’assistenza ai pazienti e gli esiti sanitari, apportando un contributo sostanziale al campo dell’AI in sanità.