Valutazione affettiva ed interattiva di dati multimediali

Oggigiorno i dati multimediali provengono da ogni attività umana con fonti molto eterogenee che vanno dalle interazioni on-line ai sensori IoT; queste informazioni possono essere utilizzate per migliorare in modo proattivo la vita umana in campi molto diversi dall'intrattenimento all'assistenza sanitaria. La prima parte di questo lavoro tratta dati psicofisiologici come l'elettroencefalografia (EEG) provenienti da un'interfaccia cervello-computer: utilizzando come ambiente di ricerca i mondi virtuali come quelli di un videogioco vogliamo studiare con metodo scientifico gli stati emotivi e l’esperienza utente per valutare oggettivamente le strategie di progettazione dei livelli di gioco, proponendo un approccio pratico che sia anche estendibile ad altre attività di valutazione. Viene fornita una progettazione formale ed il relativo sviluppo pratico di due livelli per il videogioco di ruolo "Neverwinter Nights 2" con l'obiettivo di manipolare emozioni e stati affettivi e presentando i risultati provenienti da metodi di apprendimento automatico e da questionari. La seconda parte di questo lavoro introduce l'analisi di immagini mediche dermoscopiche al fine di ottenere sistemi diagnostici proattivi che possano discriminare una semplice lesione cutanea dal melanoma, una delle forme più mortali di cancro della pelle: vengono presentate delle pipeline di analisi per la rilevazione delle lesioni cutanee che sfruttino sia le tecniche standard visione artificiale sia metodi di apprendimento automatico. Per costruire un archivio di features visive che servano come dati di ground-truth, viene illustrata la progettazione di una libreria digitale integrata che memorizzi e gestisca le annotazioni manuali ed i meta-dati derivanti (contorni, pattern, intersezioni, colori) provenienti da un tool sviluppato per dispositivi mobili in base ai principi di usabilità: in tal modo potrà essere utilizzato da medici esperti del dominio ma non necessariamente della tecnologia per produrre annotazioni mediche di alta qualità.