Leveraging Explainable Artificial Intelligence to Enhance Cyber-Threat Detection

With increasing numbers of individuals and organizations striving to maintain connectivity and navigate the digital realm, the requirement for robust cybersecurity measures has transformed into an absolute imperative. Regrettably, this surging demand for digital security also propels the ceaseless pursuit of cybercriminals, resulting in the creation of more effective and sophisticate attacks that progressively undermine traditional methodologies. In response to this ongoing contest between attackers and defenders, experts in the field of cybersecurity are turning to Artificial Intelligence (AI), specifically focusing on Machine Learning (ML) and Deep Learning (DL) techniques, in order to harness the capabilities of AI in countering these threats. Nevertheless, despite their potential, ML and DL models, renowned for their aptitude in detecting uncharted breaches like zero-day attacks and malware, are not yet fully ingrained, where minor perturbations to an input sample can effectively deceive an ML or DL model, causing it to misclassify the sample. The susceptibility of ML and DL models to potential attacks is merely one of their drawbacks. Due to their black-box nature, complete reliance on any ML or DL model often becomes a challenge. In addition, the right to explanation is gaining importance in the context of ML and DL models, especially in critical applications such as cybersecurity. The right to explanations can help to address the concerns related to the decisions generated by ML and DL models by providing insights into how ML and DL models make decisions. This can help to identify and mitigate bias, and to ensure that models are being used in a fair and responsible manner. These dual concerns contribute to a sense of caution among cybersecurity experts when it comes to implementing ML or DL within the cybersecurity domain. In this thesis, we aim to establish a fresh understanding of the methods that utilize eXplainable AI (XAI) to improve the accuracy of ML or DL-based models trained for intrusions and malware detection. We propose methods that combine adversarial training, XAI and deep neural networks (DNNs) to improve the accuracy of the deep learning (DL) models in detecting cyber-threats. In particular: • We propose a method that uses XAI to select features that affect DL model decisions. • We describe a method that uses XAI to improve the accuracy performance of cyber-threats detection systems. • We propose an ensemble method that uses XAI to maximize the diversity in the ensemble model trained for cyber-threat detection and adversarial training to improve model generality. • We explore how an XAI method can be used to learn simpler DL models. In addition, we investigate how an XAI method can be used by an attacker to fool a DL model. • We use XAI to investigate the effect of balancing operations on ML models trained for network intrusion detection. • We investigate the vulnerability of XAI methods to adversarial attacks. • Finally, we propose a software prototype to detect cyber-threats to be used in a company context. We carried out a comprehensive experimental investigation on the proposed methods, encompassing a comprehensive range of benchmark datasets, attack scenarios, and performance metrics. We show that the proposed methods outperform several prior defense methods.

Con il crescente numero di individui e organizzazioni che cercano di mantenere la connettività e di navigare nel regno digitale, la necessità di solide misure di sicurezza informatica si è trasformata in un imperativo assoluto. Purtroppo, questa crescente domanda di sicurezza digitale alimenta anche la continua ricerca dei cybercriminali, portando alla creazione di attacchi sempre più efficaci e sofisticati che minano progressivamente le metodologie tradizionali. In risposta a questa continua competizione tra attaccanti e difensori, gli esperti del settore della sicurezza informatica si stanno rivolgendo all'Intelligenza Artificiale (IA), concentrandosi in particolare sulle tecniche di Machine Learning (ML) e Deep Learning (DL), per trarre vantaggio dalle capacità dell'IA nel contrastare queste minacce. Tuttavia, nonostante il loro potenziale, i modelli ML e DL, noti per la loro capacità di scoprire violazioni sconosciute come anche attacchi zero-day e malware, non sono ancora completamente adatti ad essere pienamente integrati nei sistemi di cyber sicurezza. Infatti, piccoli cambiamenti in un campione di input possono ingannare efficacemente un modello ML o DL, portandolo a classificare erroneamente il campione. La suscettibilità dei modelli ML e DL a potenziali attacchi è solo uno dei loro svantaggi. A causa della loro natura di "scatola nera", la fiducia in qualsiasi modello ML o DL spesso diventa una sfida. Inoltre, il diritto di spiegazione sta guadagnando importanza nel contesto dei modelli ML e DL, soprattutto nelle applicazioni critiche come la sicurezza informatica. Il diritto di spiegazione può aiutare ad affrontare le preoccupazioni relative alle decisioni generate dai modelli ML e DL fornendo informazioni su come questi modelli prendono le decisioni. Questo può aiutare a identificare e mitigare i pregiudizi, e a garantire che i modelli vengano utilizzati in modo equo e responsabile. Queste due sfide contribuiscono a creare un senso di cautela tra gli esperti di cybersecurity quando si tratta di implementare ML o DL nell'ambito della sicurezza informatica. In questa tesi, ci poniamo l'obiettivo di stabilire una nuova comprensione dei metodi che utilizzano l'eXplainable AI (XAI) per migliorare l'accuratezza dei modelli basati su ML o DL addestrati per il rilevamento di intrusioni e malware. Proponiamo metodi che combinano l'allenamento avversariale, l'XAI e le reti neurali profonde (DNN) per migliorare l'accuratezza dei modelli di deep learning (DL) nel rilevamento delle cyber-minacce. In particolare: • Proponiamo un metodo che utilizza l'XAI per selezionare le caratteristiche che influenzano le decisioni del modello DL. • Descriviamo un metodo che utilizza l'XAI per migliorare le prestazioni di accuratezza dei sistemi di rilevamento delle cyber-minacce. • Proponiamo un metodo ensemble che utilizza l'XAI per massimizzare la diversità nel modello ensemble addestrato per il rilevamento delle cyber-minacce e l'allenamento avversariale per migliorare la generalità del modello. • Esploriamo come un metodo XAI può essere utilizzato per apprendere modelli DL più semplici. Inoltre, indaghiamo come un metodo XAI può essere utilizzato da un attaccante per ingannare un modello DL. • Utilizziamo l'XAI per indagare l'effetto delle operazioni di bilanciamento sui modelli ML addestrati per il rilevamento delle intrusioni di rete. • Indaghiamo la vulnerabilità dei metodi XAI agli attacchi avversari. • Infine, proponiamo un prototipo software per il rilevamento delle cyber-minacce da utilizzare in un contesto aziendale. Abbiamo condotto un'indagine sperimentale completa per valutare la validità dei metodi proposti, utilizzando diversi dataset di riferimento, scenari di attacco e metriche di valutazione. Nella tesi si mostra come i metodi proposti hanno prestazioni migliori di diversi metodi di scoperta di cyber-minacce allo stato dell’arte.