BEYOND THE BLACK BOX: VOCAL BIOMARKERS FOR MONITORING STRESS IN PILOT-ATC COMMUNICATION

The human voice is a sensitive channel for inferring psychophysiological states and offers a noninvasive, ecologically valid biomarker of stress in safety-critical settings. Aviation provides a paradigmatic testbed, as pilot–air traffic controller officer (ATCO) exchanges frequently occur under time pressure, high workload, and unexpected emergencies. Despite accumulating evidence, findings on vocal stress markers remain fragmented by methodological heterogeneity, inconsistent results across contexts, and limited ecological validity. This dissertation advances understanding through three complementary studies. Study 1 systematically reviewed 20 empirical investigations of vocal markers of workload, stress, fatigue, and sleepiness in aviation, identifying the most consistent acoustic correlates alongside recurrent limitations in design, measurement, and validation. Study 2 analyzed a large archival corpus of authentic pilot–ATCO communications spanning emergency and routine phases. Twenty-seven speaker-normalized acoustic parameters were extracted with Parselmouth, and feature selection combined Welch ANOVAs with FDR control, collinearity screening, and the Boruta algorithm. Stress was then classified using supervised models (LDA, LASSO, Random Forest, and XGBoost), revealing both shared and role-specific vocal markers. Study 3 introduced a geometric-morphometrics approach to speech, capturing stress-related spectrotemporal deformations beyond conventional acoustic features. Taken together, these studies show that acoustic representations can index stress-induced vocal adaptations in ecologically valid aviation contexts and offer methodological guidance for future work. The results refine psycholinguistic accounts of speech under stress and support the development of voice-based monitoring tools to enhance communication safety in aviation and other safety-critical domains.

La voce umana è un canale sensibile per inferire stati psicofisiologici e offre biomarcatori non invasivi ed ecologicamente validi dello stress in contesti critici per la sicurezza. L’aviazione rappresenta un banco di prova paradigmatico, poiché gli scambi tra pilota e controllore del traffico aereo (ATCO) avvengono frequentemente sotto pressione temporale ed elevato carico cognitivo. Tuttavia, gli studi sui marker vocali dello stress nel contesto aeronaturico rimangono frammentati a causa dell’eterogeneità metodologica, degli esiti incoerenti tra contesti e della limitata validità ecologica. Questa tesi di dottorato si snoda in tre studi complementari. Lo studio 1 è una revisione sistematica di 20 articoli sui marker vocali di quattro fenomeni psicofisiologici: carico di lavoro, stress, fatica e sonnolenza nel contesto dell'aviazione. La revisione sistematica identifica i correlati acustici più consistenti, insieme alle limitazioni ricorrenti legate alla metodologia e alla misurazione. Lo studio 2 presenta analisi acustiche condotte su un ampio corpus d’archivio di comunicazioni reali tra piloti e ATCO, sia in fasi di emergenza che in quelle di routine. Ventisette parametri acustici normalizzati per parlante sono stati estratti con Parselmouth, e la selezione delle caratteristiche ha combinato ANOVA di Welch con controllo FDR, screening della collinearità e algoritmo Boruta. Lo stress è stato poi classificato tramite modelli supervisionati (LDA, LASSO, Random Forest e XGBoost), mettendo in luce marker vocali dello stress sia condivisi sia specifici del ruolo (ATCO-Pilota). Lo Studio 3 ha introdotto un approccio innovativo di morfometria geometrica applicato al parlato, capace di catturare deformazioni spettrotemporali legate allo stress che vanno oltre i tradizionali indici acustici. Nel complesso, questi studi mostrano che l'analisi vocale può essere uno strumento efficace per riconoscere lo stress in contesti aeronautici e offrono indicazioni metodologiche per il lavoro futuro. I risultati affinano i modelli psicolinguistici del parlato sotto stress e supportano lo sviluppo di strumenti di monitoraggio basati sulla voce per migliorare la sicurezza comunicativa in aviazione e in altri domini critici per la sicurezza.