L'obiettivo di questa ricerca è studiare il grounding multimodale dei concetti astratti e comprendere come un termine astratto (es. conoscenza) possa essere interpretato metaforicamente attraverso un’immagine concreta (es. libro). Attraverso indagini psicolinguistiche sono stati raccolti dati sulle associazioni tra concetti astratti e concreti tramite metodi di elicitazione (associazioni stimolo astratto – parole concrete / immagini / situazioni). Si è osservata l’esistenza di tendenze prototipiche di associazioni tra concetti astratti, parole concrete e situazioni, e che tali associazioni si confermano anche attraverso l’associazione multimodale tra sistemi visivi e linguistici. Si è studiata, inoltre, la capacità dei Large Language Models (LLMs) e dei Vision Language Models (VLMs) di generare associazioni astratto-concreto tramite compiti di generazione linguistica, image retrieval e image generation. Le tecniche utilizzate hanno dimostrato che questi modelli possono riprodurre percorsi associativi in modo simile agli umani. I risultati indicano che le immagini che rappresentano scenari concreti possono essere metaforicamente interpretate attraverso concetti astratti, in quanto raffigurano situazioni che forniscono contesto e li collegano a eventi reali e ai vincoli sensoriali del mondo fisico. La ricerca ha portato alla creazione di una risorsa multimodale italiana, SituaMet, che collega stimoli astratti, situazioni e immagini. This research aims to study the multimodal grounding of abstract concepts and understand how an abstract term (e.g., knowledge) can be metaphorically interpreted through a concrete image (e.g., a book). Through psycholinguistic investigations, data were collected on the associations between abstract and concrete concepts using elicitation methods (abstract stimulus associations - concrete words/images/situations). Prototypical trends in associations between abstract concepts, concrete words, and situations were observed, and these associations were confirmed through multimodal associations between visual and linguistic systems. Additionally, the ability of Large Language Models (LLMs) and Vision Language Models (VLMs) to generate abstract-concrete associations was studied through linguistic generation, image retrieval, and image generation tasks. The techniques used demonstrated that these models can reproduce associative paths similarly to humans. The results show that images representing concrete scenarios can be metaphorically interpreted through abstract concepts because they depict situations that provide context and relate them to real-world events and sensory constraints. The research led to the creation of an Italian multimodal resource, SituaMet, which connects abstract stimuli, situations, and images.

Indirect Grounding of Abstract Concepts. Psycholinguistic and Multimodal Computational Investigations

CERINI, LUDOVICA
2024

Abstract

L'obiettivo di questa ricerca è studiare il grounding multimodale dei concetti astratti e comprendere come un termine astratto (es. conoscenza) possa essere interpretato metaforicamente attraverso un’immagine concreta (es. libro). Attraverso indagini psicolinguistiche sono stati raccolti dati sulle associazioni tra concetti astratti e concreti tramite metodi di elicitazione (associazioni stimolo astratto – parole concrete / immagini / situazioni). Si è osservata l’esistenza di tendenze prototipiche di associazioni tra concetti astratti, parole concrete e situazioni, e che tali associazioni si confermano anche attraverso l’associazione multimodale tra sistemi visivi e linguistici. Si è studiata, inoltre, la capacità dei Large Language Models (LLMs) e dei Vision Language Models (VLMs) di generare associazioni astratto-concreto tramite compiti di generazione linguistica, image retrieval e image generation. Le tecniche utilizzate hanno dimostrato che questi modelli possono riprodurre percorsi associativi in modo simile agli umani. I risultati indicano che le immagini che rappresentano scenari concreti possono essere metaforicamente interpretate attraverso concetti astratti, in quanto raffigurano situazioni che forniscono contesto e li collegano a eventi reali e ai vincoli sensoriali del mondo fisico. La ricerca ha portato alla creazione di una risorsa multimodale italiana, SituaMet, che collega stimoli astratti, situazioni e immagini. This research aims to study the multimodal grounding of abstract concepts and understand how an abstract term (e.g., knowledge) can be metaphorically interpreted through a concrete image (e.g., a book). Through psycholinguistic investigations, data were collected on the associations between abstract and concrete concepts using elicitation methods (abstract stimulus associations - concrete words/images/situations). Prototypical trends in associations between abstract concepts, concrete words, and situations were observed, and these associations were confirmed through multimodal associations between visual and linguistic systems. Additionally, the ability of Large Language Models (LLMs) and Vision Language Models (VLMs) to generate abstract-concrete associations was studied through linguistic generation, image retrieval, and image generation tasks. The techniques used demonstrated that these models can reproduce associative paths similarly to humans. The results show that images representing concrete scenarios can be metaphorically interpreted through abstract concepts because they depict situations that provide context and relate them to real-world events and sensory constraints. The research led to the creation of an Italian multimodal resource, SituaMet, which connects abstract stimuli, situations, and images.
3-lug-2024
Italiano
abstract concepts
figurative language
indirect grounding
LLMs
multimodality
VLMs
Lenci, Alessandro
File in questo prodotto:
File Dimensione Formato  
Phd_Thesis_Cerini_Ludovica.pdf

accesso aperto

Dimensione 18.32 MB
Formato Adobe PDF
18.32 MB Adobe PDF Visualizza/Apri
report_attivita_cerini.pdf

non disponibili

Dimensione 291.51 kB
Formato Adobe PDF
291.51 kB Adobe PDF

I documenti in UNITESI sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.14242/215924
Il codice NBN di questa tesi è URN:NBN:IT:UNIPI-215924