A data-mining framework for functional analysis of complex technical infrastructures

The prevention and mitigation of Functional Dependencies (FDEPs) in Complex Technical Infrastructures (CTIs) has become a great issue of concern for CTIs vulnerability and resilience. FDEPs can cause unexpected cascades of failures, with major consequences on availability. However, the identification of FDEPs relying on classical methods of system decomposition and logical analysis cannot be applied since they require deep knowledge of the systems, such as their logic and structure function, which is not easy to retrieve for complex and evolving CTIs. In this context, the present PhD thesis proposes a methodological framework for identifying FDEPs among components of CTIs using databases of alarm messages. It is based on the following steps: i) the representation of alarm data in a form suitable for FDEPs identification; ii) the assessment of the level of dependencies of groups of alarms which potentially describe FDEPs; iii) the development of search algorithms for mining alarm databases and identify groups of functionally dependent alarms; iv) the reconstruction of the causal chains of events triggered by the identified FDEPs. The main novelties are the definition of a novel metric to measure the dependency among groups of alarms, the development of different ad-hoc search algorithms for identifying functionally dependent groups of alarms based on evolutionary algorithms and association rule mining techniques and the introduction of a method to extract causal relationships from groups of dependent alarms performing a probabilistic analysis of the alarm occurrence times. The effectiveness of the proposed framework is shown by means of its application to artificial case studies and real large-scale databases of alarms generated by different supervision systems of the complex technical infrastructure of CERN (European Organization for Nuclear Research).

La prevenzione e la mitigazione degli effetti delle dipendenze funzionali nelle Infrastrutture Tecniche Complesse (CTI) è un tema di grande rilevanza per la loro vulnerabilità e resilienza. Le dipendenze funzionali posso essere la causa di cascate di guasti che possono avere grandi ripercussioni per la disponibilità delle infrastrutture. Tuttavia, l’identificazione delle dipendenze funzionali non può essere svolta attraverso i metodi classici della decomposizione del sistema e dell’analisi della sua logica di funzionamento. Questi metodi richiedono infatti una profonda conoscenza della logica e della struttura del sistema che è difficile da ottenere per sistemi che evolvono nel tempo come le CTI. In tale contesto, la presente tesi di dottorato propone una struttura metodologico per l’identificazione di dipendenze funzionali tra i componenti di CTI tramite l’analisi di database di allarmi. Tale struttura metodologica è composta dai seguenti processi: i) la rappresentazione dei dati in una forma consona all’identificazione delle dipendenze funzionali; ii) la stima del livello di dipendenza tra gruppi di allarmi potenzialmente dipendenti; iii) lo sviluppo di algoritmi di ricerca al fine di identificare gruppi di allarmi funzionalmente dipendenti; iv) la ricostruzione delle catene causali di eventi scatenate delle dipendenze funzionali. Le maggiori novità proposte in questa tesi di dottorato sono la definizione di una metrica che misura la dipendenza tra gruppi di allarmi, lo sviluppo di vari algoritmi di ricerca, basati su algoritmi evolutivi ed estrazione di regole associative, per identificare gruppi di allarmi funzionalmente dipendenti e l’introduzione di un metodo, basato su un’analisi probabilistica dei tempi di occorrenza degli allarmi, per la stima del nesso causale tra gli allarmi di un gruppo di allarmi dipendenti. L’efficacia della metodologia proposta è dimostrata attraverso la sua applicazione a casi studio artificiali e a database di larga scala generati da vari sistemi di supervisione dall’infrastruttura tecnica del CERN (Centro Europeo per la Ricerca Nucleare).