Investigating the Dynamics of Emotions, Visuospatial Attention, and their Synergistic Role through Virtual Reality

When considering technological solutions that should cooperate with the attentive, perceptive, and emotional characteristics of the final user, Virtual Reality (VR) proves to be a precious tool for the design and testing phase. However, human perception works differently in reality and in VR, therefore, there is a need to develop new methodologies to effectively test and collect measures of attention and perception in immersive VR setups. At the same time, the interactions between emotions and attention need to be further explored and VR, despite its great potential, is still underused compared to other media content such as images, sounds, and videos. This thesis has as its fulcrum the exploration of attentive, perceptual, and emotional aspects through the design and development of experimental studies based on the use of VR. A database of ten affective VR environments has been developed and tested. Two of the scenarios, opposed in terms of valence and arousal, have been used to explore the interactions with visuospatial components during a driving task, revealing an effect of emotions on drivers’ reaction times. Variables affecting visuospatial attention in VR have been further explored and their effects have been measured, expanding the knowledge on the dynamics that regulate perception in urban and driving scenarios, and providing useful data to better characterize driver’s attention mechanisms in immersive virtual environments. The results obtained demonstrate the ease with which VR makes it possible to create a connection between emotions, perception, and attention, providing immediate and totally personalized application cases. When applied to the driving context, XR technologies have the potential to revolutionize the way driver assisting and monitoring systems are being developed and tested. Validating these systems in real-world scenarios is expensive and dangerous, making VR an ideal testing tool for collecting large amounts of data on a variety of specific and highly controlled situations.

Quando si considerano soluzioni tecnologiche che dovrebbero cooperare con le caratteristiche attentive, percettive ed emotive dell'utente finale, la Realtà Virtuale (VR) si rivela uno strumento prezioso per la fase di progettazione e test. Tuttavia, la percezione umana funziona in modo diverso nella realtà e nella VR, pertanto è necessario sviluppare nuove metodologie per testare e raccogliere efficacemente misure relative all’attenzione e alla percezione in setup di VR. Allo stesso tempo, le interazioni tra emozioni e attenzione necessitano di essere ulteriormente esplorate e la VR, nonostante il suo grande potenziale, è ancora sottoutilizzata rispetto ad altri contenuti mediali come immagini, suoni e video. Questa tesi ha come fulcro l'esplorazione degli aspetti attentivi, percettivi ed emotivi attraverso la progettazione e lo sviluppo di studi sperimentali basati sull'utilizzo della VR. È stato sviluppato e testato un database di dieci ambienti virtuali in grado di suscitare specifiche risposte emotive negli utenti. Due degli scenari, opposti in termini di valenza ed eccitazione, sono stati utilizzati per esplorare le interazioni con le componenti visuospaziali durante un compito di guida, rivelando un effetto delle emozioni sui tempi di reazione dei conducenti. Le variabili che influenzano l’attenzione visuospaziale in VR sono state ulteriormente esplorate e i loro effetti sono stati misurati, ampliando la conoscenza sulle dinamiche che regolano la percezione in scenari urbani e di guida, e fornendo dati utili per caratterizzare meglio i meccanismi di attenzione del conducente in ambienti virtuali immersivi. I risultati ottenuti dimostrano la facilità con cui la VR permette di creare una connessione tra emozioni, percezione e attenzione, fornendo casi applicativi immediati e totalmente personalizzati. Se applicate al contesto di guida, le tecnologie XR hanno il potenziale per rivoluzionare il modo in cui i sistemi di assistenza e monitoraggio del conducente vengono sviluppati e testati. La convalida di questi sistemi in scenari del mondo reale è costosa e pericolosa, rendendo la realtà virtuale uno strumento di test ideale per raccogliere grandi quantità di dati su una varietà di situazioni specifiche e altamente controllate.