Application of sematic web techniques to affective information management

The World Wide Web represents one of the most revolutionary applications in the history of computing and human communication, that has changed how information is disseminated and retrieved, how business is conducted and how people communicate. The advent of the so called Web 2.0 put users more and more at the center of the Web Universe and made them the primary actors in the creation of web contents, providing a huge variety of services and applications, like blogs, fora and social networks, for content creation, sharing and consumption. This had led to an incredible explosion of data available on the Web and to the emerging of new and peculiar type of data - the Community Contributed Data – which characterizes it-self for the collaborative way in which it is created, uploaded and annotated. This is reflected in its highly interconnection nature, which bound tightly the resources, their creators and their consumers. Moreover, as most of the processes related to people lives, also the creation or the fruition of this "Social Web" data are often strongly driven by emotions. Commonly, users upload videos or photos that are linked to particular moments of their lives and post comments, or rate videos and photos, according to the emotions arisen while watching them. Recent findings in the study of the emotions that have clearly revealed that emotions play a fundamental role in our life and are strictly connected with human intelligence. Therefore, the capability to encode and manage affective information has been increasingly understood as a key factor for the development of novel and more effective computing applications, as envision by Affective Computing paradigm. Also, Web has dragged a growing interest for also marketing and financial market prediction because of the huge amount of information that it contains concerning people's opinions, feelings and moods, that Opinion Mining and Sentiment Analysis aim to distill. In addition, the dizzying expansion of the Web and the exponential multiplication of the available information has reduced the productivity of the current search engines that use keyword-based statistical algorithms which relies on the textual representation of the information contained on a web page. Semantic Web it's an initiative that aims at improving the current state of the World Wide Web through a more effective representation of information, able to encode also its semantic in a unambiguous machine-processable format. In this work, we propose a novel approach for the management of affective information based on the application of Semantic Web techniques. Semantic techniques can in fact provide a more efficient semantic data modeling for the description of the complex phenomena of emotions and affective states, able to overcome the limitations of the syntactic representation provided by the existing languages used for emotions representation. With such purpose we developed a Human Emotion Ontology (HEO) that standardizes the main existing models for the representation of human emotions into a computation ontology. Linked with existing ontologies for the description of people and multimedia web resource, HEO provides a powerful semantic framework to encode all the relevant information required for the management of Community Contributed resources into a unique knowledge base. Exploiting the inference capability provided by the semantic modeling of the information, such knowledge base become available to answer advanced search queries and reveal interesting data connections and patterns that can be used to drive intelligent applications. Also innovative data visualization techniques, like faceted browsing, can be used to display and explore data in more engaging ways. In addition, combining the semantic description framework supplied by HEO with Sentic Computing, a new technique for sentiment analysis and affect detection from text, we proposed a novel paradigm for the management of social media affective information, defined Sentic Web, which exploits Artificial Intelligence and Semantic Web techniques to extract, encode and process opinions and sentiments over the Web. To demonstrate the feasibility and effectiveness of the application of the proposed approach both for the classification of community contributed resources and for social media marketing application we set up two demonstrative demo website. In this work, we also explored the application of Semantic Web techniques in the field of multimodal video annotation, an highly time consuming and difficult activity that deals with the annotation of all the information contained in multimedia recording of dialogs that are relevant for the studies of human communication and emotions. To have an insight about how the task of video annotation is commonly performed and the created annotations are managed and to evaluate how to improve these tasks using semantic web techniques, we set up a survey for people with expertise in the field. On the base survey's results we traced a roadmap towards the application of semantic web techniques for the management of multimodal video annotations. Also a prototype application for semantic annotation of Youtube videos has been developed.

Il Word Wide Web è una delle più rivoluzionarie applicazioni nella storia dell’informatica e della comunicazione umana, che ha cambiato le modalità in cui vengono diffuse e cercate le informazioni, il modo in cui il business viene condotto e il modo in cui le persone comunicano. L’avvento del così detto Web 2.0 ha messo gli utenti sempre di più al centro dell’universo del Web rendendoli di fatto i principali attori nella creazione dei contenuti web, mettendo loro a disposizione un’incredibile varietà di servizi ed applicazioni, come blog, fora e social networks, con i quali creare, condividere ed accedere contenuti. Ciò ha determinato un’incredibile esplosione della quantità di dati disponibile sul Web ed ha dato origine ad un nuovo e peculiare tipo di dati, noti come dati “Community Contributed”, caratterizzato dalla maniera collaborativa nella quale vengono creati, uploadati ed annotati. Questa caratteristica si riflette nella loro natura fortemente interconnessa, che unisce indissolubilmente tali risorse Web ai loro creatori e consumatori. Inoltre, come la maggior parte delle azioni comunemente condotte nella vita quotidiana, la creazione e la fruizione di questi dati è significativamente influenzata dalle emozioni. Comunemente, infatti, gli utenti uploadano video e foto che sono legati a particolari momenti della loro vita o postano commenti e giudicano foto o video in base alle emozioni che provano guardandoli. Recenti scoperte nello studio delle emozioni hanno chiaramente rivelato come esse giochino un ruolo fondamentale nelle nostre vite e come siano strettamente connesse con l’intelligenza umana. Per tanto, si è sempre più affermata la consapevolezza di come la capacità di codificare e gestire le informazioni “affettive” possa costituire un fattore chiave per lo sviluppo di nuove e più efficienti applicazioni, come proposto dal paradigma dell’Affective Computing. Inoltre, il Web stesso ha attratto una crescente attenzione anche per il marketing e la previsioni di mercato, per l’immensa quantità di dati relativi alle opinioni delle utenti, ai loro gusti e al loro mood, che rappresentano delle informazioni preziose per gli scopi dell’”Opinion Mining” e della “Sentiment Analysis”. Inoltre, l’espansione vertiginosa del Web e la crescita esponenziale delle informazioni disponibili hanno ridotto l’efficacia dei correnti motori di ricerca che fanno uso di algoritmi statistici basati su parole chiave che si basano unicamente sulla rappresentazione testuale delle informazioni contenute in una pagina web. Il Semantic Web è un’iniziativa nata allo scopo di migliorare il corrente stato del World Wide Web attraverso una più efficiente rappresentazione delle informazioni, in grado di codificare anche la loro semantica in un formato univocamente intepretabile da parte di una macchina. In questo lavoro, si propone un innovative approccio per il processamento delle informazioni affettive basato sull’applicazione di tecniche semantiche. Tali tecniche possono infatti permettere una più efficiente modellazione delle informazioni necessarie alla descrizione del complesso fenomeno delle emozioni e degli stati affettivi, in grado di superare le limitazioni collegate alla mera rappresentazione sintattica di cui fanno uso i linguaggi attualmente usati nella rappresentazione delle emozioni. A tale scopo si è sviluppata un’Ontologia per le Emozioni Umane (HEO) che standardizza i principali modelli per la rappresentazione delle emozioni umane in un’ontologia computazionale. Mediante il collegamento con altre ontologie esistenti per la descrizione delle persone e delle risorse multimediali presenti sul Web, HEO definisce una potente architettura per la codifica semantica di tutte le informazioni rilevanti per la gestione dei dati “Community Contributed” in un’unica base di conoscenza. Sfruttando le capacità di ragionamento messe a disposizione della modellazione semantica delle informazioni, tale conoscenza di base può essere utilizzata per nello sviluppo di applicazioni intelligenti. Inoltre essa pemette l’utilizzo di tecniche innovative per la visualizzazione dei dati, come il così detto faceted browsing, che può essere utilizzato per presentare ed esplorare i dati in maniera accattivante. Inoltre, combinando le capacità di codifica semantiche dei dati messe a disposizione da HEO con una nuova tecnica per la Sentiment Analysis e il detectamento di emozioni dal testo, nota come Sentic Computing, si è proposto un nuovo paradigma per la gestione delle informazioni affettive associate a contenuti web creati collaborativamente, che combina Intelligenza Artificiale e Semantic Web per estrarre, codificare e processare opinioni e sentimenti nel Web. Al fine di dimostrare la realizzabilità e l’efficienza dell’approccio proposto sia per la classificazione delle risorse create in maniera collaborativa sia per applicazioni destinate al marketing, si sono implementati due siti Web dimostrativi. Inoltre, si è esplorata la possibilità di applicare le tecniche semantiche nel campo dell’annotazione video multimediale, che costituisce un’attività particolarmente difficile e dispendiosa in termini di tempo che si occupa di annotare tutte le informazioni contenute in registrazioni di dialoghi che possono essere di interesse per lo studio della comunicazione umana e delle emozioni. Per avere un’idea di come tale attività venga comunemente effettuata, come le annotazioni create vengano gestite e per valutare se tale attività possa trarre benefici dall’applicazione dei tecniche semantiche. Sulla base dei risultati della survey si è tracciata un percorso per l’effettiva applicazione di tecniche semantiche per la gestione del processo di annotazione multimodale. Inoltre si è sviluppato un prototipo per l’annotazione semantica di video di Youtube.