Exploiting user signals and stochastic models to improve information retrieval systems and evaluation

La valutazione in Information Retrieval (IR) rappresenta il leitmotiv di questa tesi, in cui sono analizzati diversi problemi legati alle misure di efficacia in IR e le soluzioni proposte per risolvere tali problemi. Inizialmente viene proposta una definizione formale di misure di efficacia di IR orientate all’utilità dell’utente. Tale definizione è costruita a partire dalla teoria rappresentazionale della misura e la configurazione teorica presentata contribuisce alla migliore comprensione delle difficoltà relative al confronto dei sistemi, separandole da quelle relative alle proprietà numeriche delle misure. Successivamente è descritto AWARE, un approccio probabilistico per controllare il rumore e le inconsistenze introdotte quando i giudizi di rilevanza sono raccolti tramite piattaforme di crowd sourcing. Invece di adottare tecniche di classificazione per combinare i giudizi di rilevanza raccolti da diversi crowd worker a livello di pool, i giudizi di rilevanza e i crowd worker stessi sono considerati come sorgenti di probabilità, permettendo di combinare direttamente le misure di valutazione calcolate sulle diverse ground truth generate da ogni crowd worker. Per concludere, vengono illustrate misure di valutazioni capaci di tenere in considerazione le interazioni tra sistemi e utenti. Viene proposto un modello di utente basato su processi di tipo Markoviano che permette di descrivere il comportamento degli utenti con molti gradi di libertà. Tale modello è utilizzato per definire una nuova famiglia di misure di valutazione costruite a partire da precision, ed è incluso nella funzione obbiettivo di un algoritmo di Learning to Rank (LtR) per migliorare le prestazioni del sistema.