Misurazione e Modellazione Multisensore del Movimento Umano

The analysis of human motion is a multifaceted topic with crucial applications in several fields. Medicine, rehabilitation, biomechanics, but also robotics, logistics, and, lately, an increasing number of industrial scenarios share the need to quantify how a person is moving. The current gold standard for the assessment of human motion makes use of highly accurate optoelectronic systems capable of tracking the three-dimensional positions of a set of retroreflective markers with submillimeter precision. Although this approach is suitable for medical applications, the advent of Industry 5.0, which focuses on the well-being of the human operator, brought a new set of requirements for the assessment of human motion. In fact, to ensure a safe and productive collaboration between human operators and robotic devices, the latter must be constantly aware of the people within their workspace. Thus, the human motion needs to be measured in unconstrained environments, in real-time, and without impacting the person's dexterity. The next critical advancement in human motion analysis will consist of developing accurate non-invasive systems. Ideally, a complete MoCap system should be able to provide highly accurate measurements, without requiring complex hardware setups nor hindering the freedom of movement in any way, and in real-time. This work presents the research activities that I conducted during my Ph.D. in this direction. The main objective of my research was to provide novel tools and algorithms to maximize the motion estimation accuracy, support heterogeneous quantities measured/estimated by different sensing systems, and minimize the number of sensors required on the body. Such a complex objective required the definition of three macro levels in which I divided my work: the Sensing level, the Tracking level, and the Modeling level. The first level aims to seamlessly integrate different sensor typologies with the developed algorithms. The main goal of this level is to provide a bridge between the raw measured quantities and the developed tools, independently of the typology of sensors being used. This is of paramount importance in the direction of enabling human MoCap in unconstrained environments, allowing the system to be adapted to the specific user and scenario. The second level focuses on maximizing the pose estimation accuracy when using a distributed network of sensors. Within this level, I developed state-of-the-art tools to enable robust, accurate, real-time multi-person tracking. Four modules were developed to allow for real-time temporal tracking, merging, optimizing, and smoothing of multiple people's poses. The accuracy increase achieved by exploiting the proposed workflow was assessed in a newly acquired dataset that we plan to release in the near future. Finally, the latter level enables multimodal sensor fusion of heterogeneous data by referring all the measured quantities to a common underlying model of the human. The information received from either the Sensing or Tracking levels is used to drive a musculoskeletal model of the human in real-time. Within this level, protocols considered de-facto standards in the biomechanics field were successfully adapted to allow their use in different contexts. The extensive work on sensing, tracking, and modeling converged on the development of an open-source efficient, flexible, modular framework for real-time multi-sensor measurement and modeling of human motion. To conclude, the work developed within my Ph.D. research aimed to push forward, via a multidisciplinary approach, the state-of-the-art on accurate unintrusive assessment of human motion in unconstrained environments. Indeed, the proposed system has the potential to enable the development of a variety of emerging applications, where precise knowledge of the human pose in complex environments, with a minimal number of on-body sensors, and in real-time, is a fundamental requirement.

L'analisi del movimento umano rappresenta un argomento poliedrico con diverse applicazioni in molteplici campi. Medicina, riabilitazione, biomeccanica, ma anche robotica, logistica e, ultimamente, l'ambiente industriale, sono accomunati dalla necessità di quantificare come una persona si sta muovendo. Attualmente lo standard di riferimento nell'analisi del movimento umano consiste nell'uso di sistemi optoelettronici estremamente accurati, in grado di tracciare la posizione di una serie di marcatori retroriflettenti con precisione submillimetrica. Sebbene questo approccio si presti ad applicazioni in ambito medico, l'avvento dell'Industria 5.0, incentrata sul benessere dell'operatore, ha introdotto una nuova serie di requisiti. Infatti, per garantire una collaborazione sicura ed efficace tra operatori umani e dispositivi robotici, questi ultimi devono essere costantemente informati delle persone all'interno del proprio spazio di lavoro. Di conseguenza, il movimento umano deve essere misurato in ambienti non vincolati, in tempo reale e senza influire sulla libertà di movimento della persona. Il prossimo progresso fondamentale nell'analisi del movimento umano consisterà nello sviluppo di sistemi in grado di fornire misurazioni estremamente accurate, in tempo reale e senza ostacolare in alcun modo la libertà di movimento. Questo lavoro presenta le attività di ricerca che ho condotto in questa direzione durante il mio dottorato. Lo scopo della mia ricerca ha riguardato lo sviluppo di nuovi algoritmi per massimizzare l'accuratezza della stima del movimento, supportare dati eterogenei da diversi sistemi di motion capture e minimizzare il numero di sensori richiesti sul corpo. Un obiettivo così complesso ha richiesto la definizione di tre macro livelli in cui ho suddiviso il mio lavoro: il livello di Sensing, il livello di Tracking e il livello di Modeling. Il primo livello ha lo scopo di integrare, senza soluzione di continuità, diverse tipologie di sensori con gli algoritmi sviluppati. L'obiettivo principale di questo livello è fornire un collegamento tra le grandezze fisiche misurate e gli algoritmi sviluppati, indipendentemente dalla tipologia di sensore utilizzato. Questo è di fondamentale importanza per consentire la stima del movimento in ambienti non vincolati, permettendo al sistema di adattarsi allo specifico utente e scenario. Il secondo livello si concentra sulla massimizzazione dell'accuratezza della stima della posa attraverso l'utilizzo di una rete distribuita di sensori. All'interno di questo livello ho sviluppato strumenti all'avanguardia per permettere tracciamento, fusione, ottimizzazione e filtraggio in tempo reale di più persone. L'aumento di precisione ottenuto dal sistema proposto è stato valutato su di un dataset recentemente acquisito che prevediamo di rilasciare nel prossimo futuro. Infine, l'ultimo livello consente la fusione in tempo reale dei dati ottenuti da sensori eterogenei, associando tutte le grandezze misurate ad un unico modello muscoloscheletrico dell'essere umano. All'interno di questo livello, i protocolli considerati standard in ambiente biomeccanico sono stati adattati con successo per consentirne l'utilizzo in contesti diversi. L'ampio lavoro all'interno dei tre livelli sopracitati ha portato allo sviluppo di un framework open-source efficiente, flessibile e modulare per la misurazione e modellazione multisensore in tempo reale del movimento umano. Per concludere, il lavoro sviluppato nell'ambito della mia ricerca di dottorato ha le potenzialità di fare avanzare lo stato dell'arte nell'ambito della stima non invasiva del movimento umano in ambienti non vincolati attraverso un approccio multidisciplinare. Il sistema proposto, infatti, consente lo sviluppo di una varietà di applicazioni emergenti in cui la conoscenza precisa della posa umana in ambienti complessi, con un numero minimo di sensori sul corpo, e in tempo reale, è un requisito fondamentale.