Interactive mixed reality widgets for precise dexterity of tool manipulation to enhance surgical procedures in Industry 4.0 realm

Complex medical procedures, particularly those involving surgery, demand exceptional precision in spatial 6DOF (Six Degrees of Freedom) tool manipulation, where even minor errors can result in irreversible damage or undesirable outcomes. In this context, precise tool alignment is crucial, whether in minimally invasive surgeries or delicate procedures such as dental implantology. Mixed Reality (MR) technology has emerged as a promising tool for addressing these challenges by providing surgeons with real-time, spatially accurate guidance through visual assets known as widgets. These MR widgets have the potential to support surgeons by superimposing helpful information directly onto the physical environment, enabling them to perform complex tasks with higher precision. However, despite the advancements in MR technology, current approaches remain predominantly static or quasi-static, leading to persistent errors due to a lack of adaptive and dynamic solutions. Additionally, the absence of standardized guidelines for widget design and the underemphasis of user interface (UI) considerations in MR systems exacerbate usability issues, leading to increased cognitive and physical task loads for surgeons and ultimately detracting from performance and outcomes. This thesis addresses these challenges through a systematic investigation that employs experimental methodologies, including user studies with surgeons and domain experts, to evaluate and optimize innovative MR-based solutions. A comprehensive literature review reveals significant gaps in existing MR systems, such as inadequate widget design, suboptimal usability, high cognitive task demands, and limited adaptability in real-time surgical contexts, particularly in dentistry. A key contribution of this work is advancing the understanding of user-centered UI design for precision tool-to-target guidance systems. This research highlights the importance of addressing persistent challenges such as visual clutter, occlusion, and inclusivity, ensuring that widgets cater to diverse user needs, including those with visual impairments or varying cognitive capabilities. Building on these insights, this thesis introduces interactive widgets that integrate principles of cognitive perception, particularly those derived from Gestalt theory. By applying Gestalt principles such as proximity, continuity, and figure-ground organization, the research focuses on optimizing visual design and incorporating real-time error feedback mechanisms that respond to user actions. The result is a set of interactive widgets that significantly enhance the positional and angular precision of the tools while managing cognitive load and task completion time effectively. The findings demonstrate that the proposed widgets outperform traditional, static designs in terms of precision, efficiency, and usability. These widgets improve tool manipulation accuracy, streamline cognitive processes involved in high-stakes procedures, reduce task completion times, and enhance user preference. Moreover, these designs’ modular and adaptable nature extends beyond medical applications, offering valuable solutions for industries requiring high precision and safety, such as manufacturing, maintenance, and assembly. Furthermore, this research presents a flexible, open-source evaluation framework for MR widget design, promoting standardized testing methodologies and fostering greater collaboration within the scientific community. This framework facilitates consistent development and assessment of MR systems, ensuring reliability and cross-domain applicability. Looking to the future, this research explores several directions for enhancing MR widget design, including integrating haptic and auditory feedback systems to increase interaction fidelity, developing adaptive and personalized user interfaces tailored to individual user needs, and establishing standardized design guidelines to encourage innovation and consistency across industries. The aim is to pave the way for safer, more efficient, and precise outcomes in MRassisted procedures and systems, providing a foundation for continued advancements in MR-based precision tools.

Le procedure mediche complesse, in particolare quelle che coinvolgono interventi chirurgici, richiedono una precisione eccezionale nella manipolazione degli strumenti spaziali a 6DOF (Sei Gradi di Libertà), dove anche errori minimi possono causare danni irreversibili o risultati indesiderati. In questo contesto, l’allineamento preciso degli strumenti è cruciale, sia nelle chirurgie minimamente invasive che in procedure delicate come l'implantologia dentale. La tecnologia della Realtà Mista (MR) è emersa come uno strumento promettente per affrontare queste sfide, fornendo ai chirurghi una guida spazialmente accurata in tempo reale attraverso risorse visive conosciute come widget. Questi widget MR hanno il potenziale di supportare i chirurghi sovrapponendo informazioni utili direttamente sull'ambiente fisico, permettendo loro di eseguire compiti complessi con maggiore precisione. Tuttavia, nonostante i progressi nella tecnologia MR, gli approcci attuali rimangono prevalentemente statici o quasi statici, portando a errori persistenti a causa della mancanza di soluzioni adattive e dinamiche. Inoltre, l'assenza di linee guida standardizzate per la progettazione dei widget e la scarsa enfasi sulle considerazioni relative all'interfaccia utente (UI) nei sistemi MR esacerbano i problemi di usabilità, aumentando il carico cognitivo e fisico per i chirurghi e, in ultima analisi, compromettendo le prestazioni e i risultati. Questa tesi affronta queste sfide attraverso un'indagine sistematica che impiega metodologie sperimentali, comprese indagini con chirurghi e esperti del settore, per valutare e ottimizzare soluzioni innovative basate sulla MR. Una revisione completa della letteratura evidenzia significative lacune nei sistemi MR esistenti, come la progettazione inadeguata dei widget, l'usabilità subottimale, l'alto carico cognitivo e la limitata adattabilità nei contesti chirurgici in tempo reale, in particolare in odontoiatria. Un contributo chiave di questo lavoro è il miglioramento della comprensione del design dell'interfaccia utente centrato sull'utente per i sistemi di guida precisione strumento-obiettivo. Questa ricerca sottolinea l'importanza di affrontare sfide persistenti come il disordine visivo, l'occlusione e l'inclusività, assicurandosi che i widget soddisfino le diverse esigenze degli utenti, inclusi quelli con disabilità visive o capacità cognitive variabili. Sfruttando queste intuizioni, questa tesi introduce widget interattivi che integrano principi di percezione cognitiva, in particolare quelli derivati dalla teoria della Gestalt. Applicando principi della Gestalt come la prossimità, la continuità e l'organizzazione figura-sfondo, la ricerca si concentra sull'ottimizzazione del design visivo e sull'incorporazione di meccanismi di feedback sugli errori in tempo reale che rispondano alle azioni dell'utente. Il risultato è un set di widget interattivi che migliorano significativamente la precisione posizionale e angolare degli strumenti, gestendo efficacemente il carico cognitivo e il tempo di completamento dei compiti. I risultati dimostrano che i widget proposti superano i design tradizionali e statici in termini di precisione, efficienza e usabilità. Questi widget migliorano l'accuratezza nella manipolazione degli strumenti, semplificano i processi cognitivi coinvolti nelle procedure ad alto rischio, riducono i tempi di completamento dei compiti e migliorano la preferenza dell'utente. Inoltre, la natura modulare e adattabile di questi design si estende oltre le applicazioni mediche, offrendo soluzioni preziose per settori che richiedono alta precisione e sicurezza, come la produzione, la manutenzione e l'assemblaggio. Inoltre, questa ricerca presenta un framework di valutazione flessibile e open-source per la progettazione dei widget MR, promuovendo metodologie di test standardizzate e favorendo una maggiore collaborazione all'interno della comunità scientifica. Questo framework facilita lo sviluppo e la valutazione coerente dei sistemi MR, garantendo affidabilità e applicabilità trasversale ai vari settori. Guardando al futuro, questa ricerca esplora diverse direzioni per migliorare la progettazione dei widget MR, tra cui l'integrazione di sistemi di feedback tattili e uditivi per aumentare la fedeltà dell'interazione, lo sviluppo di interfacce utente adattive e personalizzate su misura per le esigenze individuali degli utenti e l'istituzione di linee guida progettuali standardizzate per incoraggiare l'innovazione e la coerenza tra i vari settori. L'obiettivo è aprire la strada a risultati più sicuri, efficienti e precisi nelle procedure e nei sistemi assistiti dalla MR, fornendo una base per i continui progressi negli strumenti di precisione basati sulla MR.