Models and methods for eXplainable Artificial Intelligence in pervasive Cyber-Physical Systems

Cyber-Physical Systems (CPSs) integrate sensing, computation, communication, and actuation to monitor and control physical processes in real time through Internet of Things (IoT) devices and protocols. Artificial Intelligence (AI) models and methods are increasingly integrated in CPSs to enhance data-driven autonomous decision-making capabilities. Despite improvements in embedded hardware, however, most devices still operate as passive data sources, relying on cloud infrastructures for computation and storage. This centralized approach introduces latency, bandwidth, and privacy concerns. Exploiting edge computing paradigms for data mining and Machine Learning (ML) tasks moves computation closer to data sources, allowing to mitigate these issues, but increases complexity due to resource constraints of edge devices and distributed task coordination. These problems are exacerbated when pushing computation and distributed decision-making further toward the IoT devices in the field. In a Trustworthy AI perspective, interpretability and auditability of ML are also critical for pervasive CPS in key sectors, but are rarely considered in edge intelligence. This dissertation describes the work done to address these limitations by combining knowledge representation and reasoning with distributed, incremental, and federated learning across the Cloud-to-Thing continuum. The first major contribution is a general-purpose serverless framework for distributed CPSs, enabling orchestration of AI workflows, including data collection, training, and inference, across heterogeneous nodes. The second is Mafalda 2.0, a lightweight and explainable on-device classifier that integrates symbolic Knowledge Representation and Reasoning (KRR) with subsymbolic statistical ML, supporting incremental and federated learning with logic-based justification of results. Experimental validation shows that the proposed AI approach achieves accuracy comparable to state-of-the-art on-device learning systems while offering explainability through semantic reasoning. The two contributions converge into a unified case study combining Mafalda 2.0 with the Cloud- to-Thing framework, demonstrating the feasibility of explainable federated learning across heterogeneous computing infrastructures. Future work includes dynamic ontology generation, expanding test coverage in large-scale deployments, and optimizing performance for highly constrained nodes to enhance applicability in real-world IoT environments. A further research gap concerns systematic qualitative and quantitative evaluation of eXplainable Artificial Intelligence (XAI) methods, incorporating standard interpretability metrics and user-centered studies to objectively assess the clarity and reliability of explanations.

I sistemi cyber-fisici (CPS) integrano sensori, elaborazione dati, comunicazione e attuatori per monitorare e controllare i processi fisici in tempo reale attraverso dispositivi e protocolli Internet of Things (IoT). I modelli e i metodi di intelligenza artificiale (AI) sono sempre più integrati nei CPS per migliorare le capacità decisionali autonome basate sui dati. Nonostante i progressi nell'hardware, tuttavia, la maggior parte dei dispositivi opera ancora come strumento di misura passivo, affidandosi a infrastrutture cloud per l'elaborazione e l'archiviazione dei dati. Questo approccio centralizzato è caratterizzato da criticità relative a latenza, saturazione della banda e riservatezza dei dati. L'Edge computing è un paradigma volto a spostare i carichi computazionali di Machine Learning (ML) in prossimità dei dispositivi di raccolta dati, consentendo di mitigare i suddetti problemi. D'altro canto, tale approccio aumenta la complessità a causa dei vincoli di risorse e dell'eterogeneità dei dispositivi edge. Tali problematiche risultano esacerbate quando il calcolo e il processo decisionale distribuito vengono spinti ulteriormente verso i dispositivi IoT. Nella prospettiva di migliorare l'affidabilità dell'IA, l'interpretabilità e la verificabilità dei modelli decisionali diventano fondamentali per i CPS pervasivi; tuttavia, queste caratteristiche sono raramente considerate nei modelli di Tiny Machine Learning (TinyML). Questa tesi descrive il lavoro svolto per affrontare tali limitazioni combinando la rappresentazione della conoscenza e il ragionamento con l'apprendimento distribuito, incrementale e federato attraverso il continuum Cloud-to-Thing. Il primo contributo è un framework serverless generico per CPS distribuiti, che consente l'orchestrazione di flussi di lavoro di IA su nodi eterogenei. Il secondo è Mafalda 2.0, un classificatore leggero e spiegabile, compatibile con l'esecuzione su dispositivi IoT, che integra la rappresentazione simbolica della conoscenza e il ragionamento automatico (KRR) con l'apprendimento statistico subsimbolico. Mafalda 2.0 supporta l'apprendimento incrementale e federato, giustificando il processo decisionale tramite logiche descrittive. La validazione sperimentale dimostra che l'approccio proposto raggiunge un'accuratezza paragonabile allo stato dell'arte dei sistemi di apprendimento per IoT, offrendo al contempo spiegabilità attraverso il ragionamento semantico. I due contributi convergono in un caso di studio unificato che combina Mafalda 2.0 con il framework Cloud-to-Thing, dimostrando la fattibilità della proposta su infrastrutture altamente eterogenee e distribuite. I lavori futuri includono la generazione dinamica di ontologie, l'estensione della copertura dei test su larga scala e l'ottimizzazione delle prestazioni per nodi con forti vincoli di risorse. Un'ulteriore lacuna nella ricerca riguarda la valutazione sistematica, qualitativa e quantitativa, dei metodi di intelligenza artificiale spiegabile (XAI), che incorpori metriche di interpretabilità standard e studi incentrati sull'utente per valutare oggettivamente la chiarezza e l'affidabilità delle spiegazioni.