AI-Driven Virtual Reality Methods to Boost Digital Heritage

The study of perceptual information and its impact on human cognition has advanced with AI, transforming the spatial and semantic aspects of Cultural Heritage (CH) data in virtual environments. However, challenges remain in optimizing 3D models while preserving critical details, identifying Regions of Interest (ROIs) based on user engagement, and managing CH data through semantic enrichment. 3D digitization often introduces irregular topologies, missing structures, and texture loss during optimization, requiring manual corrections that compromise fidelity. Identifying informative ROIs in virtual environments demands user feedback or behavioral tracking to analyze attention patterns. Semantic annotation remains labor-intensive—ontologies provide structure but require expertise, while Large Language Models (LLMs) offer automation but lack consistency, necessitating expert validation. To address these challenges, geometric analysis and feature-ranking methods are proposed to preserve details during optimization and refine 3D models. A neural network-based perceptual feature ranking minimizes spatial information loss. The 3VR tracking algorithm maps user behavior in panoramic tours, ensuring accurate ROI identification. For semantic annotation, the research integrates ontologies with LLMs to automate knowledge graph construction, linking CH objects to formal frameworks like CIDOC-CRM. Additionally, LLMs rank CH data dynamically within virtual environments, enabling personalized experiences. Ontology-based methods ensure consistency, while LLMs enhance flexibility. Results show improved 3D model optimization, effective ROI identification, and streamlined semantic annotation. AI-driven methods bridge technology with cultural preservation, enhancing spatial, semantic, and cognitive integration in VR environments.

Lo studio delle informazioni percettive e del loro impatto sulla cognizione umana sta avando grazie all'IA, trasformando gli aspetti spaziali e semantici dei dati sul Cultural Heritage (CH) negli ambienti virtuali. Tuttavia, persistono sfide nell'ottimizzazione dei modelli 3D mantenendo i dettagli critici, nell'identificazione delle Regioni di Interesse (Region of Interest - ROI) degli utenti e nella gestione dei dati CH tramite strategie di arricchimento semantico. La digitalizzazione 3D spesso introduce topologie irregolari, strutture mancanti e perdita di texture durante l’ottimizzazione, richiedendo correzioni manuali che compromettono la fedeltà. L’individuazione di ROI nei contesti virtuali necessita di feedback degli utenti o tracciamento comportamentale per analizzare i modelli di attenzione. L'annotazione semantica rimane onerosa: le ontologie strutturano i dati ma richiedono competenze specifiche, mentre i Large Language Models (LLMs) automatizzano il processo ma mancano di coerenza, richiedendo validazione degli esperti. Per affrontare queste sfide, la tesi propone analisi geometriche e metodi di classificazione delle caratteristiche per preservare i dettagli durante l’ottimizzazione e perfezionare i modelli 3D, ossia si testa un sistema basato su reti neurali per ridurre la perdita di informazioni spaziali. L’algoritmo 3VR traccia il comportamento degli utenti nei tour panoramici, garantendo un'identificazione accurata delle ROI. Per l’annotazione semantica, la ricerca integra ontologie e LLM per automatizzare la costruzione di grafi della conoscenza, collegando gli oggetti del CH a framework formali come CIDOC-CRM. Inoltre, gli LLM classificano dinamicamente i dati negli ambienti virtuali, creando esperienze personalizzate. Le ontologie garantiscono coerenza, mentre gli LLM offrono maggiore flessibilità. I risultati mostrano un miglioramento nell’ottimizzazione dei modelli 3D, un’identificazione efficace delle ROI e un’annotazione semantica più performante. I metodi basati sull’IA collegano tecnologia e digitalizzazione del patrimonio, potenziando l’integrazione spaziale, semantica e cognitiva negli ambienti VR.