Explainable Classification and the Limits of Language Understanding in Language Models

The widespread adoption of opaque deep-learning Language Models (LMs) has transformed Natural Language Processing and increased demand for explainability. This thesis contributes on two fronts. First, it develops text classification systems for challenging multilingual and hierarchical contexts, introducing novel datasets and a Transformer architecture tailored for hierarchical labels; this model outperforms several baselines on complex, noisy data. Second, it offers practical solutions to enhance explainability: a transparent system is validated on a real-world image classification case study, and a general modular framework is proposed that embeds opaque components within a transparent structure and is validated on two text classification tasks. Finally, the thesis probes the limits of Large LMs (LLMs) on nuanced language by testing the classification and explanation of humorous wordplay (i.e., puns). Results show LLMs often fail to identify valid wordplay and produce explanations that misread contextual and phonetic cues, revealing more superficial understanding than previously claimed and exposing weaknesses in existing benchmarks. Overall, the work delivers practical solutions for text classification and a critical analysis of XAI and LLM capabilities, urging realistic expectations and more robust evaluation.

La crescente adozione di Language Models (LMs) "opachi" ha trasformato il campo del Natural Language Processing, enfatizzando la necessità di spiegare le decisioni dei modelli. Questa tesi di dottorato offre un contributo su due fronti. In primo luogo, sviluppa sistemi di classificazione testuale e li valida in contesti di dati multilingue o etichettati secondo tassonomie gerarchiche, introducendo nuovi dataset e un'architettura specifica per queste ultime; tale modello supera le prestazioni di diversi algoritmi su dataset complessi e rumorosi. In secondo luogo, la tesi offre soluzioni pratiche per migliorare l’explainability dei classificatori: un sistema trasparente viene validato su un caso di studio di classificazione di immagini, e viene proposto un framework modulare che integra componenti opachi all'interno di una struttura trasparente, validato a sua volta su due task di classificazione. Infine, la tesi esplora i limiti dei Large LMs (LLM), testandone la capacità di classificare e, allo stesso tempo, spiegare la presenza di paronomasia. I risultati mostrano che gli LLM spesso non riescono a identificare gli esempi validi e producono spiegazioni che interpretano erroneamente gli indizi contestuali e fonetici, rivelando una comprensione più superficiale di quanto precedentemente affermato. Complessivamente, questo lavoro fornisce soluzioni per la classificazione del testo e un'analisi critica delle capacità dei metodi per l’Explainable AI (XAI) e degli LLM.