Towards morpho-molecular learning in computational pathology

Computational pathology is an emerging interdisciplinary field that aims to develop methods to analyze and interpret pathological data, involving computer science, statistics, biochemistry and medicine. The recent advances in high-throughput imaging techniques, such as whole-slide imaging (WSI) and mass spectrometry imaging (MSI), have opened new lines of research, enabling study of histology from tissue morphology to molecular composition. This thesis presents novel computational methods to efficiently analyze and integrate optical gigapixel images and molecular multi-channel images data, with a focus on thyroid neoplasms. The developed integration method aligns the two imaging modalities by preserving spatiality, to learn a joint morpho-molecular representation of histology at matched coordinates. The major research contribution is the improved downstream performance of the fused optical and molecular signal through vision transformer-based deep learning techniques, with respect to analyzing the molecular signal alone.

La patologia computazionale è un ambito di studio emergente e interdisciplinare che mira a sviluppare metodi che coinvolgono informatica, statistica, biochimica e medicina per analizzare e interpretare dati patologici. I recenti sviluppi nelle tecnologie di imaging di tipo high-throughput, come immagini istologiche (whole-slide images, WSIs) e immagini molecolari con spettrometria di massa (mass spectrometry imaging, MSI), hanno aperto nuove linee di ricerca, ampliando lo studio dell'istologia dalla morfologia del tessuto alla sua composizione molecolare. Questa tesi introduce nuovi metodi computazionali per analizzare in maniera efficiente e integrare immagini ottiche di grandi dimensioni (gigapixel) e immagini molecolari multi-canale, concentrandosi su neoplasie tiroidee. Il metodo di integrazione sviluppato allinea le due modalità preservandone la spazialità, in modo da apprendere una rappresentazione morfo-molecolare congiunta dell'istologia nelle coordinate appaiate. Il maggior contributo alla ricerca è il miglioramento delle prestazioni dovuto alla fusione dei segnali ottico e molecolare attraverso tecniche di deep learning visive basate sui transformer, rispetto alle prestazioni ottenute analizzando solamente il segnale molecolare.