Multiple routes to conceptual combination: a distributional modeling approach

A core feature of human cognition is conceptual combination, namely the ability to build complex meanings (e.g., “swordfish”) from simpler constituents (“sword”, “fish”) whose relationship is implicit and must be inferred (“a fish with a jaw shaped like a sword”). Different theories claim that conceptual combination relies on multiple routes to meaning, resulting in alternative representations of the same concept. Specifically, concepts may be represented as both independent and morphologically bound constituents (e.g., “fish” and the head constituent “–fish”), depend on both language and sensorimotor information (e.g., the way “sword” and “fish” are used as words as well as their distinct perceptual and motor features), and result from long-term memory retrieval or active composition (e.g., “swordfish” as a single lexicalized unit or as the combination of “sword” and “fish”). However, many of these constructs remain elusive to operationalize and are, therefore, difficult to test experimentally. The present dissertation proposes to address this challenge by means of computational models of conceptual combination based on distributional semantics. Chapter 2 leverages the intermediate representations of a compositional model to operationalize morphologically bound units (e.g., “sword” as the modifier “sword–”) and disentangle inhibitory and facilitatory dimensions of compound meaning. These are shown to predict eye movements in interaction with measures of reading experience, supporting the claim that morphologically bound units are developed with prolonged exposure to compounding and affect how compounds are processed. Leveraging the similarity between language and vision, Chapter 3 tests the hypothesis that the visual features of novel combinations (e.g., “cactus fish”) can be predicted by mapping the representations of a (compositional) language model to those of a vision model. Synthetic images depicting novel combinations are generated, and participants are tasked with selecting those that match their intuitions. Language-to-vision mapping mostly succeeds in predicting behavior, but the superior performance of the head constituent alone suggests that language provides only a simple non-compositional pointer to the perceptual features of novel combinations. Chapter 4 consists of a re-analysis of four fMRI studies employing two-word combinations but differing in task requirements. “Lexicalized” and “compositional” representations are compared in terms of their degree of match with neural activity from target regions of interest. Evidence for lexicalized representations is absent, while converging evidence from confirmatory and exploratory analyses points to a cluster of compositional representations in the left inferior frontal gyrus, showing that this region represents combinatorial information beyond task demands. Finally, chapter 5 shows that models from two classes – simpler compositional models and large language models – can reveal the implicit semantic relations that link constituent words (e.g., “snowball” is “a ball made of snow”). Large language models are markedly superior in the case of familiar compounds. However, their performance on novel compounds experiences a substantial drop, falling below that of simpler compositional models, suggesting that large language models struggle with stimuli that require genuine conceptual combination. Together, these contributions show that, by defining both the representations of individual concepts and the functions that combine them, compositional models based on distributional semantics provide a window into representations and processes that cannot be directly examined, characterizing alternative routes to complex meaning which are based on different representations of the same constituent, different representations of the same combination, and different sources of information.

Una facoltà fondamentale della cognizione umana è la combinazione concettuale, ovvero la capacità di ottenere concetti complessi (e.g., “pesce spada”) a partire da costituenti più semplici (“spada”, “pesce”) la cui relazione è implicita e da inferire (“un pesce dalla mascella a forma di spada”). Diverse teorie ipotizzano che la combinazione concettuale porti alla genesi di rappresentazioni alternative del medesimo concetto, il quale può essere sia indipendente che morfologicamente vincolato (e.g., “pesce” e la testa “pesce–”), può dipendere sia da informazioni linguistiche che sensomotorie (e.g., l’uso di “spada” e “pesce” come parole e le caratteristiche sensomotorie dei rispettivi referenti) e può derivare da processi di recupero dalla memoria a lungo termine o di composizione attiva (e.g., “pesce spada” come unità lessicalizzata o come combinazione di “pesce” e “spada”). Tuttavia, molti di questi costrutti sono difficili da operazionalizzare e da testare sperimentalmente. Questa tesi affronta siffatta problematica impiegando modelli computazionali di combinazione concettuale basati sulla semantica distribuzionale. Il Capitolo 2 sfrutta le rappresentazioni intermedie di un modello composizionale per operazionalizzare unità morfologicamente vincolate (e.g., “spada” come modificatore “–spada”) e per distinguere dimensioni inibitorie e facilitanti che ne derivano. Queste si rivelano in grado di predire dati di eye tracking in interazione con misure di reading experience, supportando l’ipotesi che le unità morfologicamente vincolate si sviluppino in seguito alla prolungata esposizione a parole composte e ne influenzino l’elaborazione. Il Capitolo 3 testa l’ipotesi che le caratteristiche visive di nuove combinazioni (e.g., “pesce cactus”) possano essere previste mappando le rappresentazioni di un modello linguistico (composizionale) su quelle di un modello visivo. Sviluppate immagini che raffigurano nuove combinazioni, dei partecipanti selezionano quelle che meglio corrispondono alle loro intuizioni. Il mapping linguaggio-visione predice le scelte e, in parte, i tempi di selezione dei partecipanti, ma fornisce informazioni parziali (e non composizionali) circa le caratteristiche percettive di nuove combinazioni. Il Capitolo 4 consiste in una rianalisi di quattro studi fMRI che impiegano parole composte ma differiscono rispetto al compito sperimentale. Rappresentazioni “lessicalizzate” e “composizionali” vengono confrontate in base al loro grado di corrispondenza con l’attività neurale in regioni di interesse. Non emergono evidenze di accesso a rappresentazioni lessicalizzate, mentre più analisi convergono nell’identificare un cluster di rappresentazioni composizionali nel giro frontale inferiore sinistro, dimostrando che questa regione rappresenta informazioni combinatorie indipendentemente dalle richieste del compito. Infine, il Capitolo 5 dimostra che modelli composizionali e large language models sono in grado di predire le relazioni semantiche implicite che collegano i costituenti (e.g., “ball made of snow” per “snowball”). I large language models sono nettamente superiori nel caso di composti familiari. Tuttavia, la loro performance su composti nuovi cala sensibilmente, scendendo al di sotto di quella di modelli composizionali più semplici, suggerendo che i primi fatichino a rappresentare stimoli che richiedono una reale combinazione. Nel complesso, questi contributi dimostrano che, definendo sia le rappresentazioni dei singoli concetti sia le funzioni che li combinano, i modelli composizionali basati sulla semantica distribuzionale permettono di studiare rappresentazioni e processi che non possono essere esaminati direttamente, e che si basano su diverse rappresentazioni dello stesso costituente, diverse rappresentazioni della stessa combinazione, e diverse fonti di informazione.