Making discoveries with multimodal astrophysics

Astrophysical surveys generate unprecedented quantities of multimodal data, including spectra, images and time series. Scientists interpret the data and write scientific papers and textual summaries. All such data form the basis for further research and discovery. This thesis investigates how multimodal deep learning can reveal new information about astrophysical sources, with a focus on transient processes and gravitational lensing systems. The thesis shows a progression from unimodal representational learning of X-ray spectra to multimodal contrastive alignment with text and spatio-temporal analysis of gravitationally-lensed supernovae. The results reveal that while spectral data contains a limited amount of information, considering additional modalities allows a more comprehensive analysis and enables the discovery of rare phenomena. The proposed architectures achieve state-of-the-art performance on test metrics and are able to identify and analyze candidate gravitational lenses and candidate pulsating ultraluminous X-ray sources in real observations, opening new frontiers for automated astronomical exploration. By combining deep learning and observational astrophysics, this work aims to accelerate scientific discovery, demonstrating that intelligent multimodal systems can serve as powerful tools for transforming raw data into astrophysical insight.

I survey astrofisici generano quantità senza precedenti di dati multimodali, tra cui spettri, immagini e serie temporali. Gli scienziati interpretano i dati e scrivono articoli scientifici e riassunti testuali. Tutti questi dati costituiscono la base per ulteriori ricerche e scoperte. Questa tesi indaga come l'apprendimento profondo multimodale possa rivelare nuove informazioni sulle sorgenti astrofisiche, con particolare attenzione ai processi transitori e ai sistemi di lente gravitazionale. La tesi mostra una progressione dall'apprendimento rappresentazionale unimodale degli spettri X all'allineamento contrastivo multimodale con testo e all'analisi spazio-temporale delle supernove distorte gravitazionalmente. I risultati rivelano che, mentre i dati spettrali contengono una quantità limitata di informazioni, l'inclusione di modalità aggiuntive consente un'analisi più completa e permette la scoperta di fenomeni rari. Le architetture proposte raggiungono prestazioni allo stato dell'arte sulle metriche di test e sono in grado di identificare e analizzare potenziali lenti gravitazionali e potenziali PULX in osservazioni reali, aprendo nuove frontiere per l'esplorazione astronomica automatizzata. Combinando l'apprendimento profondo e l'astrofisica osservativa, questo lavoro si propone di accelerare la scoperta scientifica, dimostrando che i sistemi multimodali intelligenti possono fungere da potenti strumenti per trasformare i dati grezzi in informazioni astrofisiche.