Soluzioni di Data Mining per la Sostenibilità nella Ricerca Clinica

In the rapidly evolving landscape of healthcare digitalization, the application of data mining techniques to clinical research presents unprecedented opportunities for innovation and improvement. This thesis explores practical, sustainable, and efficient data mining solutions to address real-world challenges in modern clinical studies, with a focus on enhancing data quality, ensuring explainability, and maintaining long-term viability of implemented systems. The research is grounded in three key application cases, each demonstrating the practical utility of data mining: Survey Engagement: developing tidy view of patient responses to improve participation and data collection in clinical surveys, addressing the critical challenge of maintaining consistent and high-quality patient-reported outcomes. Heart Rate Forecasting: designing and evaluating adaptive ARIMA models for physiological time series, with a focus on achieving robust generalization across individuals and activities while maintaining flexibility to handle drift and unpredictability in real-time monitoring applications. Adaptive Z-Score: Investigating the effects of real-time, adaptive transformation techniques on streaming physiological data, as opposed to traditional batch normalization methods, to enhance the accuracy and relevance of downstream tasks. Throughout these case studies, the research is guided by several fundamental principles: Sustainability: Incorporating MLOps practices to ensure long-term viability and adaptability of implemented solutions, with a particular focus on addressing concept drift in evolving clinical datasets. Efficiency: Optimizing computational resources and model complexity to deliver timely insights in resource-constrained clinical settings. Explainability: Prioritizing interpretable models and techniques that can be easily understood and trusted. Data Quality: Emphasizing the importance of data preprocessing and normalization techniques, particularly exploring the potential of adaptive z-score in maintaining data relevance in streaming scenarios. By integrating these principles with practical application cases, this research contributes to the broader discourse on the role of data mining in healthcare. It offers novel perspectives on tackling common challenges in clinical studies, while also highlighting the limitations of current methodologies and proposing directions for future research. This work aims to advance the field of clinical data science by demonstrating the value of pragmatic, explainable, and sustainable data mining solutions in improving data-driven healthcare interventions. By leveraging the proliferation of wearable sensors and advanced data mining techniques, the gap between theoretical models and practical, real-world applications in clinical settings is explored.

Nel contesto in rapida evoluzione della digitalizzazione sanitaria, l'applicazione di tecniche di data mining alla ricerca clinica offre opportunità senza precedenti per l'innovazione e il miglioramento. Questa tesi esplora soluzioni pratiche, sostenibili ed efficienti di data mining per affrontare sfide reali negli studi clinici contemporanei, con un focus sull'ottimizzazione della qualità dei dati, garantendo spiegabilità e mantenendo la sostenibilità a lungo termine dei sistemi implementati. La ricerca si articola in tre casi di studio applicativi, ciascuno dei quali dimostra l’utilità pratica del data mining: Coinvolgimento nei sondaggi: sviluppo di una visione ordinata delle risposte dei pazienti per migliorare la partecipazione e la raccolta dei dati nei questionari clinici, affrontando la sfida critica di mantenere elevata la qualità e la coerenza dei risultati riferiti dai pazienti. Previsione della frequenza cardiaca: progettazione e valutazione di modelli ARIMA adattivi per serie temporali fisiologiche, con l'obiettivo di ottenere una generalizzazione robusta indipendentemente da individui e attività, garantendo allo stesso tempo la flessibilità necessaria per gestire i cambiamenti e l'imprevedibilità nei monitoraggi in tempo reale. Z-Score adattiva: indagine sugli effetti delle tecniche di standardizazzione adattiva in tempo reale sui dati fisiologici in streaming, rispetto ai metodi tradizionali di normalizzazione in batch, con l'obiettivo di migliorare l'accuratezza e la rilevanza delle applicazioni downstream. Nel corso di questi casi di studio, la ricerca è guidata da alcuni principi fondamentali: Sostenibilità: integrazione delle pratiche di MLOps per garantire la sostenibilità e l'adattabilità a lungo termine delle soluzioni implementate, con particolare attenzione alla gestione del concept drift nel tempo. Efficienza: ottimizzazione delle risorse computazionali e della complessità dei modelli per fornire insight tempestivi in contesti clinici con risorse limitate. Spiegabilità: prioritizzazione di modelli interpretabili e tecniche facilmente comprensibili. Qualità dei dati: enfasi sull’importanza della preprocessazione e delle tecniche di standardizzazione dei dati, esplorando in particolare il potenziale della Z-Score adattiva per mantenere la rilevanza dei dati nei contesti di streaming. Integrando questi principi con i casi applicativi, questa ricerca contribuisce al dibattito sul ruolo del data mining in ambito sanitario, offrendo nuove prospettive sulle sfide comuni negli studi clinici e proponendo possibili soluzioni per il futuro. L’obiettivo di questo lavoro è quello di progredire nel campo della scienza dei dati clinici, dimostrando il valore di soluzioni di data mining pragmatiche, spiegabili e sostenibili nel migliorare le interazioni sanitarie basate sui dati. Grazie alla proliferazione di sensori indossabili e alle tecniche avanzate di data mining, viene esplorato il divario tra modelli teorici e applicazioni pratiche in contesti clinici reali.