Augmented interaction for custom-fit products by means of interaction devices at low costs

La presente tesi di dottorato è stata sviluppata nell’ambito di un progetto di ricerca che ha come obiettivo lo sviluppo di un framework innovativo per la progettazione di protesi per arto inferiore (per amputazioni sia transfemorali sia transtibiali) che permetta di gestire l’intero processo in un unico ambiente integrato dove ciascuna attività è supportata in modo diretto dalla conoscenza di dominio specifica. L’attenzione è stata posta sullo sviluppo di un’applicazione per la progettazione dell’invaso, il componente più critico dell’intera protesi. L’obbiettivo principale del lavoro di tesi è stato, quindi, la reingegnerizzazione e lo sviluppo di un nuovo sistema CAD prostetico, denominato SMA2 (Socket Modelling Assistant2, basato sull’impiego di tecnologie innovative a basso costo, quali ad esempio periferiche per il tracciamento di mani e dita, per permettere l’interazione uomo-macchina il più naturale possibile. Le attività di ricerca sono state organizzate in sei fasi principali come segue. Durante la prima fase, i limiti e le criticità della prima versione del sistema di modellazione (denominato SMA) sono stati identificati. A tal fine, SMA è stato testato con il personale tecnicno dell’ortopedia Panini e con i ricercatori del gruppo di ricerca in ortopedia della Salford University di Manchester utilizzando casi di studio reali. Sono state identificate le seguenti criticità a: (i) difficoltà nella ricostruzione del modello 3D dell’arto amputato partendo da immagine mediche, (ii) prestazioni delle modalità di modellazione 3D dell’invaso non adeguate e (iii) interazione con l’ambiente virtuale basata esclusivamente su periferiche classiche come tastiera e mouse e non era possibile emulare le tipiche operazioni di modifica dell’invaso. La seconda fase ha riguardato la riprogettazione del sistema di modellazione SMA in funzione dei limiti identificati nella prima fase. L’architettura software è stata riprogettata seguendo i paradigmi della progettazione orientata agli oggetti e la sua modularità permette di rimuovere o aggiungere nuovi moduli in modo semplice. Il nuovo sistema di modellazione, SMA2, è stato totalmente implementato usando Software Development Kit (SDK) con licenza open-source (in particolare Visualization ToolKit VTK, OpenCASCADE e Qt SDK) e basato su tecnologia a basso costo. Il sistema comprende: • Un nuovo modulo per la ricostruzione automatica dell’arto residuo partendo da immagini MRI. In aggiunta, una nuova procedura basata su tecnologia a basso costo, come Microsoft Kinect v2, è stata identificata ed utilizzata per acquisire il modello 3D dell’arto residuo. • Una libreria software open-souce, denominata SimplyNURBS, per la modellazione di superfici NURBS e specificatamente utilizzata per la ricostruzione automatica dell’arto amputato partendo dalle imamgini MRI. Anche se SimplyNURBS è stata sviluppata nell’ambito della progettazione di protesi per arti inferiori, essa può essere usata all’interno di altre applicazioni, sia in ambito medico sia in ambito industriale per quei prodotti la cui modellazione richiede l’utilizzo di modelli NURBS, quali ad esempio capi di abbigliamento. • Un modulo per la modifica di mesh triangolari per emulare le operationi manuali effettuate dai tecnici ortopedici durante il processo di sviluppo prodotto dell’invaso. Inoltre, sono stati sviluppati strumenti di modellazione virtuali per simulare quelli utilizzati dal tecnico ortopedico, quali ad esempio il metro per misurare l’arto residuo o la matita per evidenziare le zone critiche dell’invaso. • Una Natural User Interface (NUI) che permette di interagire con i modelli dell’arto residuo e dell’invaso attraverso periferiche di hand-tracking. • Un modulo per generare il modello geometrico dell’invaso per la realizzazione dello stesso mediante tecnologie di produzione additive. La terza fase ha riguardato lo studio e la progettazione dell’interazione aumentata con particolare attenzione allo sviluppo di una Natural User Interface per l’uso di periferiche di hand-tracking e di force-feedback. La NUI è basata sull’uso della periferica di hand-tracking Leap Motion. Un insieme di gesti, principalmente iconici e adatti al dominio considerato, sono stati indentificati tenendo in considerazione vincoli ergonomici (per esempio, la postura delle braccia) e la facilità di utilizzo. La modularità di SMA2 ha permesso di generare in modo semplice un’interfaccia software per ogni dispositivo di hand-tracking preso in considerazione. Inoltre, è stato sviluppato un modulo software, denominato Tracking plug-in, che permette di generare in automatico il codice sorgente per la creazione di interfacce per l’interazione con dispositivi di hand-tracking, come ad esempio Leap Motion e Intel Gesture Camera. In questo modo è possibile replicare/emulare le operazioni che vengono eseguite durante la progettazione di prodotti custom-fit, quali protesi e capi di abbigliamento. Per quanto riguarda i dispositivi per l’interazione tattile, sono stati considerati il Novint Falcon e un mouse aptico sviluppato ad hoc. Durante la quarta fase, sono state studiate ed analizzate le tecnologie di Additive Manufacturing, ponendo particolare attenzione alla tecnologia FDM. Tale tecnologia è stata utilizzata per realizzare l’invaso di un paziente progettato con SMA2 e verificarne le potenzialità. Inoltre, sono state condotte attività di ricerca per valutare nuove modalità di progettazione dell’invaso. In particolare, è stata considerata la possibilità di progettare e realizzare l’invaso utilizzando una stampante FDM multi materiale. Sfuttando possibilità di utilizzare materiali flessibili e la stampa di oggetti con materiali diversi, è possibile realizzare un invaso composto da parti flessibili e parti più rigide. A tal fine sono stati presi in considerazione aspetti, quali le modalità di riempimento (infill) durante la stampa 3D, i materiali per la realizzazione delle diverse parti ed il Durante la quinta fase, il sistema implementato, integrato all’interno dell’intera piattaforma per la progettazione di protesi, è stato sperimentato con un paziente con amputazione transfermorale. Sono state svolte le seguenti attività: • Acquisizione dell’arto amputato mediante Risonanza Magnetica e sistemi commerciali di acquisizione 3D (sia a basso coste sia professionali). • Creazione della geometria 3D dell’arto residuo e dell’invaso. • Stampa 3D multi materiale dell’invaso utilizzando la tecnologia FDM. • Analisi della camminata dell’amputato mediante un sistema di acquisizione del movimento. • Acquisizione delle pressioni di contatto tra invaso e arto residuo mediante il sistema Teskan F-Socket System. Mediante un’applicazione sviluppata ad hoc, è stato possibile rimappare sul modello 3D dell’invaso i valori di pressione acquisiti mediante mappe di colore e simultaneamente visualizzare l’animazione della camminata acquisita. Questa applicazione permette di identificare eventuali correlazioni tra le differenti fasi del ciclo della camminata ed i valori di pressione acquisiti. I risultati raggiunti si sono rilevati d’interesse e sono stati pianificati ulteriori test per validare il sistema con altri pazienti. I risultati ottenuti hanno, inoltre permesso di valutare le potenzialità di SMA2 ed il suo impiego presso laboratori ortopedici. La soluzione ha il potenziale per diventare un prodotto commerciale e quindi sostituire la procedura manuale seguita per progettazione dell’invaso. La sesta fase ha riguardato l’evoluzione di SMA2 come ambiente di Mixed Reality. La soluzione proposta, denominata Virtual Othopedic Laboratory (VOLAB), è sempre basata su dispositivi a basso costo e librerie software open source (OpenCL e VTK). In particolare, l’architettura hardware comprende tre Microsoft Kinect v2 per il tracciamento del corpo umano, il sistema di visione 3D Oculus Rift SDK 2 per il rendering dell’ambiente virtuale ed il dispositivo Leap Motion per il tracciamento della mani/dita. Lo sviluppo software è basato sulla struttura modulare di SMA2 e moduli dedicati che sono stati sviluppati per garantire la comunicazione tra i vari dispositivi coinvolti. Attualmente, sono stati svolti due test preliminari: il primo per verificare le prestazioni real-time dell’ambiente virtuale ed il secondo per verificare l’interazione con i dispositivi di hand-tracking durante l’utilizzo degli strumenti di modellazione virtuale messi a disposizione da SMA2. I risultati ottenuti sono molto promettenti, ma sono necessari ulteriori miglioramenti. Per esempio, la qualità della ricostruzione dell’ambiente virtuale, in particolare del modello dell’arto residuo, potrebbe essere migliorata utilizzando due camere HD-RGB in aggiunta all’Oculus Rift. Per concludere, i risultati ottenuti sono stati considerati molto interessanti ed incoraggianti dallo staff tecnico dei laboratori ortopedici. SMA2 renderà possibile un importante cambiamento del modo di progettare un invaso per protesi d’arto inferiore, da un processo tradizionalmente manuale ad un nuovo processo basato su approccio virtuale e l’impiego di strumenti computer-aided. Le soluzioni proposte ed i risultati raggiunti possono essere utilizzati anche in altri settori industriali dove il prodotto finale dipende fortemente dalla morfologia del corpo umano. Infatti, sono stati sviluppati alcuni moduli software per la progettazioni di capi di abbigliamento partendo dai moduli base sviluppati per SMA2.