From scans to models: Registration of 3D human shapes exploiting texture information

Lo sviluppo di nuove tecnologie di scansione sta accrescendo l'importanza dei dati tridimensionali (3D), e la necessita' di algoritmi di registrazione adeguati per essi. Registrare accuratamente superfici 3D e' importante per identificare oggetti ed effettuarne il tracking, costruire modelli completi a partire da scansioni parziali, creare modelli statistici. La registrazione di scansioni 3D del corpo umano e' fondamentale in molte applicazioni, dal campo biomedico a quello della produzione di film e videogiochi; ottenere registrazioni accurate e affidabili e' pero' difficile, poiche' il corpo umano e' articolato, e si deforma in maniera non rigida. In questa tesi, affrontiamo il problema della registrazione di scansioni 3D del corpo umano. Iniziamo la nostra analisi considerando lo stato dell'arte, e rilevando che: a) la maggior parte delle tecniche di registrazione 3D usa solo informazione geometrica, che e' ambigua in zone in cui le superfici sono lisce; b) c'e' una mancanza di adeguati dataset e benchmark nel settore. L'obiettivo di questa tesi e' quello di risolvere questi problemi. In particolare, portiamo tre contributi. Primo, proponiamo una nuova tecnica di registrazione per scansioni 3D del corpo umano che integra informazione geometrica con informazione cromatica di superficie. La nostra tecnica dapprima stima l'illuminazione nella scena, in modo da fattorizzare il colore della superficie osservata in effetti di luce e pura albedo; l'albedo estratta viene quindi usata per creare un modello 3D del corpo ad alta risoluzione. Tale modello viene allineato a una serie di immagini 2D, acquisite simultaneamente alle scansioni 3D, usando una funzione di matching robusta. Secondo, sulla base delle registrazioni prodotte dalla nostra tecnica, proponiamo un nuovo dataset per algoritmi di registrazione 3D, FAUST (Fine Alignment Using Scan Texture). FAUST colleziona 300 scansioni 3D relative a 10 soggetti in differenti pose. E' il primo dataset che fornisce sia scansioni reali, sia registrazioni accurate e affidabili ("ground truth") per esse. Terzo, esploriamo possibili usi del nostro approccio in dermatologia. Combinando la nostra tecnica di registrazione con un algoritmo di segmentazione per lesioni melanocitiche, proponiamo un sistema di screening in grado di rilevare l'insorgenza di nuove lesioni o modifiche in lesioni preesistenti su quasi tutta la superficie cutanea; tale sistema e' di aiuto per i dermatologi nell'individuazione di potenziali melanomi. Concludiamo questa tesi esaminando l'importanza di usare informazione cromatica per registrare scansioni 3D acquisite in sequenze dinamiche. In particolare, proponiamo un nuovo approccio per ottenere modelli 3D realistici e completi del corpo umano a partire da sequenze acquisite con un singolo Kinect.