Human-in-the-Loop Modelling and Simulation

The search for new spaces and dimensions has always driven human innovation. Technological advances have expanded these possibilities, and the Metaverse has emerged as a hybrid digital space in which the real and virtual worlds merge. Within this environment, users can interact with digital elements, access virtual spaces and participate in activities without the constraints of space, cost or accessibility. Access to these opportunities in the Metaverse is made possible by immersive technologies, which engage the body through visual displays (HMDs), haptic devices and motion tracking systems. The effectiveness of these interactions depends on the technology's ability to provide sensations similar to those experienced in the real world, making the perception of realism a key aspect of virtual environments. As the realism and effectiveness of digital interactions improve, new possibilities and perspectives emerge within the Metaverse. This progress can be achieved through solutions and technologies that fall within the scientific domain known as Human-in-the-Loop (HIL) simulation. The term HIL is used in various contexts with different meanings. In robotics, HIL systems refer to scenarios where human-machine interaction is leveraged to optimize system performance. In machine learning, the HIL approach integrates human intervention into the algorithm learning cycle, improving accuracy. In simulation, HIL refers to human influence on the simulation process output. However, as these are emerging solutions, there is still no clear classification of what constitutes an HIL system or the technologies involved. This thesis aims to define the objectives and identify the technologies involved in HIL systems, with a specific focus on sports applications. To this end, it examines how human senses can be stimulated within a simulation and how user responses can be measured. One of the key aspects of these systems is their ability to integrate multiple sensory stimuli, providing visual feedback via HMDs, haptic feedback, and vestibular and proprioceptive stimulation through motion platforms. However, beyond sensory stimulation, an HIL simulator must also assess its impact on the user. This requires monitoring movements, force exchanges, and physiological responses through dedicated sensors to collect essential data for analysis. In addition to hardware, software manages data acquisition, processes user input, and integrates mathematical models describing the simulated activity’s dynamics. A key component is the cueing algorithms, which convert simulation outputs into device-executable commands, ensuring realistic and high-fidelity stimulus reproduction. Once the structure of an HIL simulator is defined, this work explores some key components for its development. A 3-degree-of-freedom (DoF) platform is analysed as a means to generate the acceleration field required for dynamic simulation. Moreover, in immersive HIL simulators, particularly in sports applications, the user's interaction with the system is not neutral. The forces they generate influence the overall dynamics, making it necessary to distinguish inertial forces from gravitational ones. To achieve this, a method for reconstructing the human inertia tensor and center of mass is introduced, using a markerless motion tracking system. The studies conducted have contributed to the development of HexaLab, a customizable multi-purpose immersive HIL simulator designed in collaboration with Rebel Dynamics for sports and rehabilitation applications. This thesis represents a fundamental step in developing the framework for HIL simulators, using sports as a representative case study while identifying a structure that can be generalized to HIL simulators across different fields.

La ricerca di nuovi spazi e dimensioni ha sempre guidato l’innovazione umana. I progressi tecnologici hanno ampliato queste possibilità, portando alla nascita del Metaverso, uno spazio digitale ibrido in cui il mondo reale e quello virtuale si fondono. In questo ambiente, gli utenti possono interagire con elementi digitali, accedere a spazi virtuali e partecipare ad attività senza le limitazioni imposte da spazio, costi o accessibilità. L’accesso a queste opportunità è reso possibile dalle tecnologie immersive, che coinvolgono il corpo attraverso display visivi (HMD), dispositivi aptici e sistemi di tracciamento del movimento. L’efficacia di queste interazioni dipende dalla capacità della tecnologia di fornire sensazioni simili a quelle reali, rendendo la percezione del realismo un aspetto chiave degli ambienti virtuali. Con il miglioramento del realismo e dell’efficacia delle interazioni digitali, emergono nuove possibilità e prospettive nel Metaverso. Questo progresso è reso possibile grazie a soluzioni e tecnologie appartenenti al dominio scientifico della simulazione Human-in-the-Loop (HIL). Il termine HIL è utilizzato in diversi contesti con significati variabili. In robotica, i sistemi HIL si riferiscono a scenari in cui l’interazione uomo-macchina ottimizza le prestazioni del sistema. Nel machine learning, l’approccio HIL integra l’intervento umano nel ciclo di apprendimento degli algoritmi, migliorandone la precisione. Nel campo della simulazione, HIL indica l’influenza dell’umano sull’output del processo simulativo. Tuttavia, trattandosi di soluzioni emergenti, non esiste ancora una classificazione chiara di cosa costituisca un sistema HIL o delle tecnologie coinvolte. Questa tesi si propone di definire gli obiettivi e identificare le tecnologie coinvolte nei sistemi HIL, con un focus specifico sulle applicazioni sportive. Per questo scopo viene esaminato il modo in cui i sensi umani possano essere stimolati in una simulazione e come le risposte dell’utente possano essere misurate. Uno degli aspetti fondamentali di questi sistemi è la capacità di integrare stimoli sensoriali multipli, fornendo feedback visivo tramite HMD, feedback aptico, stimolazione vestibolare e propriocettiva attraverso piattaforme di movimento. Tuttavia, oltre alla stimolazione sensoriale, un simulatore HIL deve anche valutare l’impatto di questi stimoli sull’utente. Ciò richiede il monitoraggio dei movimenti, degli scambi di forze e delle risposte fisiologiche attraverso sensori dedicati. Oltre all’hardware, il software gestisce l’acquisizione dei dati, elabora gli input dell’utente e integra modelli matematici che descrivono la dinamica dell’attività simulata. Un elemento chiave è rappresentato dagli algoritmi di cueing, che traducono gli output della simulazione in comandi eseguibili dai dispositivi, garantendo una riproduzione fedele degli stimoli. Definita la struttura di un simulatore HIL, questo lavoro esplora i componenti fondamentali per il suo sviluppo. Viene analizzata una piattaforma a 3 gradi di libertà per generare il campo di accelerazioni richiesto nella simulazione dinamica. Inoltre, nei simulatori immersivi HIL, in particolare in ambito sportivo, l’interazione dell’utente con il sistema non è neutra: le forze generate influenzano la dinamica complessiva. A tal fine, viene proposto un metodo per la ricostruzione del tensore di inerzia e del baricentro umano tramite un sistema di motion tracking markerless. Gli studi condotti hanno contribuito allo sviluppo di HexaLab; un simulatore immersivo HIL multiuso personalizzabile e progettato in collaborazione con Rebel Dynamics per fini sportivi e riabilitativi. Questa tesi rappresenta un passo fondamentale nello sviluppo del framework dei simulatori HIL, utilizzando lo sport come caso di studio rappresentativo e identificando una struttura che può essere generalizzata ai simulatori HIL in diversi ambiti.