New technologies for intelligent spatial audio

Emerging immersive technologies, including telepresence and virtual reality, require spatial audio systems that maintain coherence during user movement (6-DoF rendering), even when operating over sparse, heterogeneous sensor networks with limited bandwidth. This dissertation conceptualizes intelligent spatial audio as a cross-layer challenge, proposing a unified hierarchical architecture that integrates network-level cooperation, node-level robustness, and field-level reconstruction into a deployable pipeline. Distributed optimization facilitates online cooperation across the network layer, allowing nodes to collectively solve complex problems such as sound source localization. The proposed approach operates without a fusion center, relying solely on local direction-ofarrival estimates, while adaptive rules mitigate degradations arising from varying node reliability. Furthermore, to address multi-source scenarios, the thesis introduces a fully distributed computational strategy for online identity alignment. At the node layer, the work addresses robustness in signal acquisition using spherical microphone arrays. To stabilize spherical-harmonic representations in reverberant environments, a convolutional encoder-decoder is developed. This architecture maps noisy descriptors to anechoic-like counterparts, thereby reducing bias in local direction-of-arrival estimates and mitigating error propagation across the network. At the field layer, the challenge of sound-field reconstruction under data scarcity is addressed through two complementary frameworks. First, ParaDER offers a parametric approach that explicitly reconstructs direct sound, early reflections, and diffuse reverberation from limited measurements. Second, DAME provides a data-driven mixtureof-experts model designed to learn localized mappings where simplified physical models fail within complex geometries. Finally, this work contributes to the reproducibility and advancement of the field by releasing two open-access datasets dedicated to spatial audio and musical acoustics.

I media immersivi, la telepresenza e la realtà virtuale necessitano l’impiego di tecniche per l’audio spaziale, capaci di mantenere coerenza durante il movimento dell’utente (6DoF rendering), pur operando con sensori sparsi ed eterogenei e sotto stringenti vincoli di costruzione. Questa tesi tratta l’audio spaziale intelligente come un problema di sistema, introducendo un’architettura gerarchica che connette la cooperazione a livello di rete, la robustezza a livello dei nodi e la ricostruzione del campo sonoro in una catena di operazioni sinergiche. A livello di rete, l’ottimizzazione distribuita facilita la soluzione coperativa di problemi, come localizzazione cooperativa online delle sorgenti sonore. L’approccio proposto opera senza un centro di fusione, basandosi esclusivamente su stime locali della direzione di arrivo, mentre regole adattive mitigano il degrado prestazionale legato all’affidabilità dei nodi. Inoltre, per gestire scenari multi-sorgente, la tesi introduce una strategia interamente computazionalmente distribuita per l’associazione delle sorgenti tra i vari nodi. A livello di nodo, il lavoro affronta la robustezza nell’acquisizione del segnale utilizzando array microfonici sferici. Per stabilizzare i descrittori sonori in ambienti riverberanti, è stato sviluppato un encoder-decoder convoluzionale. Questa architettura mappa i descrittori rumorosi in "simil-anecoici", riducendo così il bias nelle stime locali della direzione di arrivo e limitando la propagazione dell’errore. A livello di campo, la sfida della ricostruzione del campo sonoro in condizioni di scarsità di dati spaziali viene affrontata attraverso due framework complementari. ParaDER offre un approccio parametrico che ricostruisce esplicitamente suono diretto, prime riflessioni e riverberazione diffusa partendo da misurazioni limitate. DAME fornisce un modello mixture-of-experts basato sui dati, progettato per apprendere mappe localizzate. Infine, questo lavoro contribuisce all’avanzamento del settore rilasciando due dataset open-access dedicati all’audio spaziale e all’acustica musicale.