Robust perception of humans for mobile robots RGB-depth algorithms for people tracking, re-identification and action recognition

Una delle più importanti abilità per un robot mobile che agisce in un ambiente popolato da persone è la capacità di percepire gli esseri umani. Questo non è vero soltanto per la navigazione perché le persone devono essere evitate in maniera diversa dagli altri ostacoli, ma anche perché i robot mobili devono essere in grado di interagire veramente con gli esseri umani. In un prossimo futuro, si può immaginare che i robot saranno sempre più presenti in ogni casa e svolgeranno compiti utili al benessere delle persone. Per questo scopo, è necessario utilizzare robusti algoritmi di tracking e le tecniche di re-identificazione svolgono un ruolo importante per far sì che i robot riconoscano una persona anche dopo un'occlusione totale o dopo lunghi periodi di tempo. Inoltre, essi devono essere in grado di riconoscere le azioni delle persone per reagire in maniera adeguata, aiutandole se necessario o anche apprendendo da loro. Questa tesi affronta queste problematiche proponendo approcci che combinano algoritmi basati su informazioni RGB e di profondità che possono essere ottenute con i sensori RGB-D recentemente introdotti nel mercato. Il nostro contributo chiave alla ricerca sulla rilevazione e il tracking di persone è un clustering basato sull'informazione di profondità che permette di applicare un rilevatore di persone robusto e basato sull'immagine solamente a un ristretto insieme delle possibili finestre di detection, quindi diminuendo il numero di falsi allarmi e raggiungendo un'elevata efficienza computazionale. La ricerca sulla re-identificazione di persone viene avanzata proponendo due tecniche che sfruttano algoritmi di tracking dello scheletro basati sull'informazione di profondità: una è pensata per la re-identificazione a breve termine e crea una firma compatta, ma discriminativa, delle persone calcolando delle feature alle posizioni chiave dello scheletro, che sono altamente ripetibili e semanticamente significative; l'altra estrae feature a lungo termine, come la forma 3D, per confrontare le persone in base alla loro nuvola di punti 3D acquisita con un sensore RGB-D. Per tenere conto del fatto che le persone non sono oggetti rigidi, ma sono articolate, questa tecnica sfrutta l'informazione 3D dello scheletro per ricondurre le nuvole di punti delle persone ad una posa standard che le renda direttamente confrontabili mediante un fitting ai minimi quadrati. Infine, viene descritta un'estensione al dominio RGB-D delle tecniche di riconoscimento di azioni basati sul flusso ottico. Questa estensione calcola il flusso nel tempo dei punti 3D di una persona sfruttando congiuntamente l'informazione di colore e profondità e riconosce le azioni umane classificando descrittori a griglia del flusso 3D. Un ulteriore contributo di questa tesi è la creazione di una serie di dataset RGB-D che permettono di confrontare diversi algoritmi su dati acquisiti con sensori RGB-D di tipo consumer. Tutti questi dataset sono stati rilasciati pubblicamente per favorire la ricerca in questi settori.