Several studies demonstrated that action observation and execution typically recruit inferior parietal and ventral premotor cortex plus the caudal part of inferior frontal gyrus. These areas have been described as the main nodes of the mirror neuron system (MNS). The MNS, by transforming the sensory information of observed motor acts into their corresponding motor representations, enables the immediate understating of others’ actions. A wider network that also includes lateral occipito-temporal areas, dorsal premotor and parietal areas, as well as the lateral parts of the cerebellum, has been collectively termed as action observation network (AON). Although the main nodes of AON mostly encode the goal of the observed actions, previous research demonstrated that some areas of this network also process action kinematic features, by elaborating aspects of biological motion. In order to isolate the specific contribution of kinematic information to the decoding of observed actions, previous studies employed the point-light displays (PLDs) technique, in which biological motion is presented without pictorial aspects. The studies described in the present thesis are aimed at assessing the neural representations of kinematic features of PLDs grasping actions during observation tasks performed by healthy human volunteers. In the first study, by comparing fully visible (FV) and PLDs grasping actions, while controlling for confounding effects due to low-level visual features, motion and context, we aimed at verifying whether: a) the observation of PLDs actions could elicit activations of the AON comparable to that produced by FV stimuli; b) it was possible to disentangle, by means of machine learning algorithms, neural pattern distributions of the activated areas in the two experimental conditions (FV and PLDs). Results showed a comparable bilateral activation of the AON during the observation of both FV and PLDs. Analyses conducted on the BOLD (blood oxygenation level dependent) signal, showed no significant differences in signal intensity between PLDs and FV. These data suggest the recruitment of a similar action coding mechanism. By using multivoxel pattern analysis (MVPA), it was possible to disentangle, with significant accuracy, the neural pattern elicited by observation of FV from that evoked by observation of PLDs grasping actions in occipital, parietal and premotor areas of the AON. Taken together, these data reveal that kinematic features conveyed by PLDs stimuli are sufficient to elicit a complete action representation and that action kinematic features can be distinguished within the AON. While previous neuroimaging studies using PLDs have explored the neural basis of action observation focusing on the distinction between biological and non-biological motion, in particular of whole-body movements, they have not examined the modulation of activity within the AON in response to differences in kinematic parameters of biological actions. In the second study, we investigated the neural substrates activated during the observation of PLDs grasping actions performed with different directions (right, left) and velocities (fast, slow). The main aim of this study was to assess which areas of the AON are mainly involved in encoding differences in direction and velocity of the observed action. By combining univariate and multivariate approaches, we were able to reveal differences in processing specific kinematic information within AON. Univariate results showed that coding differences in stimuli direction activated mainly posterior and lateral occipital areas, as well as occipito-parietal areas. Differences in velocity activated the lateral occipito-temporal cortex and both superior parietal and intraparietal areas. Multivariate results demonstrated that it is possible to decode velocity and direction at the network level, with several areas of the AON contributing to the decoding of either direction or velocity, or both. Taken together, the results of the two types of analyses indicate that posterior parietal nodes of the AON are mainly involved in coding grasping direction and that a wider set of areas, including premotor regions, are crucial for coding grasping velocity. This evidence could be relevant for future studies aimed at investigating the neural correlates of action imitation based on PLDs stimuli. Futhermore, these insights could be exploited to personalize upper-limb observation-based rehabilitation programs, focusing on action kinematics. Finally, machine learning-based hand action recognition models could be enhanced by training them on the most informative kinematic features of observed actions.

Diversi studi hanno dimostrato che l’osservazione e l’esecuzione delle azioni reclutano tipicamente la corteccia parietale inferiore e la corteccia premotoria ventrale, oltre alla parte caudale del giro frontale inferiore. Queste aree sono state descritte come i nodi principali del sistema dei neuroni specchio (mirror neuron system - MNS). Il MNS, trasformando le informazioni sensoriali degli atti motori osservati nelle corrispondenti rappresentazioni motorie, consente di comprendere immediatamente le azioni altrui. Un network più ampio, che comprende anche le aree occipito-temporali laterali, le aree premotorie e parietali dorsali e le parti laterali del cervelletto, è stata definita collettivamente action observation network (AON). Sebbene i nodi principali dell’AON codifichino principalmente il goal delle azioni osservate, ricerche precedenti hanno dimostrato che alcune aree di questa rete codificano anche le caratteristiche cinematiche dell’azione, elaborando aspetti del movimento biologico. Per isolare il contributo specifico delle informazioni cinematiche alla decodifica delle azioni osservate, gli studi precedenti hanno utilizzato la tecnica dei point-light displays (PLDs), in cui il movimento biologico viene presentato senza aspetti pittorici. Gli studi descritti in questa tesi mirano a valutare le rappresentazioni neurali delle caratteristiche cinematiche di azioni di afferramento con PLDs durante compiti di osservazione eseguiti da volontari umani sani. Nel primo studio, confrontando azioni di afferramento completamente visibili (fully visible - FV) e PLDs, controllando al contempo gli effetti confondenti dovuti alle caratteristiche visive di basso livello, al movimento e al contesto, si è cercato di verificare se: a) l’osservazione di azioni PLDs fosse in grado di elicitare attivazioni dell’AON paragonabili a quelle prodotte da stimoli FV; b) fosse possibile distinguere, mediante algoritmi di machine learning, le distribuzioni dei pattern neurali delle aree attivate nelle due condizioni sperimentali (FV e PLDs). I risultati hanno mostrato un’attivazione bilaterale dell’AON comparabile durante l’osservazione di FV e PLDs. Le analisi condotte sul segnale BOLD (blood oxygenation level dependent) non hanno mostrato differenze significative nell’intensità del segnale tra PLDs e FV. Questi dati suggeriscono il reclutamento di un meccanismo di codifica dell’azione simile. Utilizzando l’analisi dei pattern multivoxel (multivoxel pattern analysis - MVPA), è stato possibile distinguere, con un’accuratezza significativa, il pattern neurale elicitato dall’osservazione di azioni di afferramento FV da quello evocato dall’osservazione delle azioni di afferramento PLDs nelle aree occipitali, parietali e premotorie dell’AON. Nel complesso, questi dati rivelano che le caratteristiche cinematiche trasmesse tramite stimoli PLDs sono sufficienti a evocare una rappresentazione completa dell’azione e che le caratteristiche cinematiche dell’azione possono essere distinte all’interno dell’AON. Precedenti studi di neuroimmagine che hanno utilizzato i PLDs hanno esplorato le basi neurali dell’osservazione dell’azione concentrandosi sulla distinzione tra movimento biologico e non biologico, in particolare dei movimenti del corpo intero, ma non hanno esaminato la modulazione dell’attività all’interno dell’AON in risposta alle differenze nei parametri cinematici delle azioni biologiche. Nel secondo studio, abbiamo indagato i substrati neurali attivati durante l’osservazione di azioni di afferramento presentate tramite PLDs eseguite in diverse direzioni (destra, sinistra) e con diverse velocità (veloce, lenta). L’obiettivo principale di questo studio è stato quello di valutare quali aree dell’AON sono principalmente coinvolte nella codifica delle differenze di direzione e velocità dell’azione osservata. Combinando approcci univariati e multivariati, siamo stati in grado di rivelare differenze nell’elaborazione di informazioni cinematiche specifiche all’interno dell’AON. I risultati univariati hanno mostrato che la codifica delle differenze di direzione degli stimoli attivava principalmente le aree occipitali posteriori e laterali, nonché le aree occipito-parietali. Le differenze di velocità hanno attivato la corteccia occipito-temporale laterale e le aree parietali superiori e intraparietali. I risultati multivariati hanno dimostrato che è possibile decodificare la velocità e la direzione a livello di network, con diverse aree dell’AON che contribuiscono alla decodifica della direzione o della velocità, o di entrambe. Nel complesso, i risultati dei due tipi di analisi indicano che i nodi parietali posteriori dell’AON sono principalmente coinvolti nella codifica della direzione di afferramento e che un insieme più ampio di aree, comprese le regioni premotorie, sono fondamentali per la codifica della velocità di afferramento. Questi dati potrebbero essere rilevanti per studi futuri volti a indagare i correlati neurali dell’imitazione di azioni basate su stimoli PLDs. Inoltre, queste informazioni potrebbero essere sfruttate per personalizzare i programmi di riabilitazione dell’arto superiore, basati sull’osservazione, concentrandosi sulla cinematica dell’azione. Infine, i modelli di riconoscimento delle azioni della mano basati sul machine learning, potrebbero essere migliorati addestrandoli sulle caratteristiche cinematiche più informative delle azioni osservate.

Rappresentazioni neurali delle caratteristiche cinematiche delle azioni di afferramento completamente visibili e in point-light displays all’interno dell’action observation network

Settimio, Ziccarelli
2024

Abstract

Several studies demonstrated that action observation and execution typically recruit inferior parietal and ventral premotor cortex plus the caudal part of inferior frontal gyrus. These areas have been described as the main nodes of the mirror neuron system (MNS). The MNS, by transforming the sensory information of observed motor acts into their corresponding motor representations, enables the immediate understating of others’ actions. A wider network that also includes lateral occipito-temporal areas, dorsal premotor and parietal areas, as well as the lateral parts of the cerebellum, has been collectively termed as action observation network (AON). Although the main nodes of AON mostly encode the goal of the observed actions, previous research demonstrated that some areas of this network also process action kinematic features, by elaborating aspects of biological motion. In order to isolate the specific contribution of kinematic information to the decoding of observed actions, previous studies employed the point-light displays (PLDs) technique, in which biological motion is presented without pictorial aspects. The studies described in the present thesis are aimed at assessing the neural representations of kinematic features of PLDs grasping actions during observation tasks performed by healthy human volunteers. In the first study, by comparing fully visible (FV) and PLDs grasping actions, while controlling for confounding effects due to low-level visual features, motion and context, we aimed at verifying whether: a) the observation of PLDs actions could elicit activations of the AON comparable to that produced by FV stimuli; b) it was possible to disentangle, by means of machine learning algorithms, neural pattern distributions of the activated areas in the two experimental conditions (FV and PLDs). Results showed a comparable bilateral activation of the AON during the observation of both FV and PLDs. Analyses conducted on the BOLD (blood oxygenation level dependent) signal, showed no significant differences in signal intensity between PLDs and FV. These data suggest the recruitment of a similar action coding mechanism. By using multivoxel pattern analysis (MVPA), it was possible to disentangle, with significant accuracy, the neural pattern elicited by observation of FV from that evoked by observation of PLDs grasping actions in occipital, parietal and premotor areas of the AON. Taken together, these data reveal that kinematic features conveyed by PLDs stimuli are sufficient to elicit a complete action representation and that action kinematic features can be distinguished within the AON. While previous neuroimaging studies using PLDs have explored the neural basis of action observation focusing on the distinction between biological and non-biological motion, in particular of whole-body movements, they have not examined the modulation of activity within the AON in response to differences in kinematic parameters of biological actions. In the second study, we investigated the neural substrates activated during the observation of PLDs grasping actions performed with different directions (right, left) and velocities (fast, slow). The main aim of this study was to assess which areas of the AON are mainly involved in encoding differences in direction and velocity of the observed action. By combining univariate and multivariate approaches, we were able to reveal differences in processing specific kinematic information within AON. Univariate results showed that coding differences in stimuli direction activated mainly posterior and lateral occipital areas, as well as occipito-parietal areas. Differences in velocity activated the lateral occipito-temporal cortex and both superior parietal and intraparietal areas. Multivariate results demonstrated that it is possible to decode velocity and direction at the network level, with several areas of the AON contributing to the decoding of either direction or velocity, or both. Taken together, the results of the two types of analyses indicate that posterior parietal nodes of the AON are mainly involved in coding grasping direction and that a wider set of areas, including premotor regions, are crucial for coding grasping velocity. This evidence could be relevant for future studies aimed at investigating the neural correlates of action imitation based on PLDs stimuli. Futhermore, these insights could be exploited to personalize upper-limb observation-based rehabilitation programs, focusing on action kinematics. Finally, machine learning-based hand action recognition models could be enhanced by training them on the most informative kinematic features of observed actions.
Distinctive neural representations of kinematic features of fully visible and point-light displays grasping actions within the action observation network
27-giu-2024
ENG
Diversi studi hanno dimostrato che l’osservazione e l’esecuzione delle azioni reclutano tipicamente la corteccia parietale inferiore e la corteccia premotoria ventrale, oltre alla parte caudale del giro frontale inferiore. Queste aree sono state descritte come i nodi principali del sistema dei neuroni specchio (mirror neuron system - MNS). Il MNS, trasformando le informazioni sensoriali degli atti motori osservati nelle corrispondenti rappresentazioni motorie, consente di comprendere immediatamente le azioni altrui. Un network più ampio, che comprende anche le aree occipito-temporali laterali, le aree premotorie e parietali dorsali e le parti laterali del cervelletto, è stata definita collettivamente action observation network (AON). Sebbene i nodi principali dell’AON codifichino principalmente il goal delle azioni osservate, ricerche precedenti hanno dimostrato che alcune aree di questa rete codificano anche le caratteristiche cinematiche dell’azione, elaborando aspetti del movimento biologico. Per isolare il contributo specifico delle informazioni cinematiche alla decodifica delle azioni osservate, gli studi precedenti hanno utilizzato la tecnica dei point-light displays (PLDs), in cui il movimento biologico viene presentato senza aspetti pittorici. Gli studi descritti in questa tesi mirano a valutare le rappresentazioni neurali delle caratteristiche cinematiche di azioni di afferramento con PLDs durante compiti di osservazione eseguiti da volontari umani sani. Nel primo studio, confrontando azioni di afferramento completamente visibili (fully visible - FV) e PLDs, controllando al contempo gli effetti confondenti dovuti alle caratteristiche visive di basso livello, al movimento e al contesto, si è cercato di verificare se: a) l’osservazione di azioni PLDs fosse in grado di elicitare attivazioni dell’AON paragonabili a quelle prodotte da stimoli FV; b) fosse possibile distinguere, mediante algoritmi di machine learning, le distribuzioni dei pattern neurali delle aree attivate nelle due condizioni sperimentali (FV e PLDs). I risultati hanno mostrato un’attivazione bilaterale dell’AON comparabile durante l’osservazione di FV e PLDs. Le analisi condotte sul segnale BOLD (blood oxygenation level dependent) non hanno mostrato differenze significative nell’intensità del segnale tra PLDs e FV. Questi dati suggeriscono il reclutamento di un meccanismo di codifica dell’azione simile. Utilizzando l’analisi dei pattern multivoxel (multivoxel pattern analysis - MVPA), è stato possibile distinguere, con un’accuratezza significativa, il pattern neurale elicitato dall’osservazione di azioni di afferramento FV da quello evocato dall’osservazione delle azioni di afferramento PLDs nelle aree occipitali, parietali e premotorie dell’AON. Nel complesso, questi dati rivelano che le caratteristiche cinematiche trasmesse tramite stimoli PLDs sono sufficienti a evocare una rappresentazione completa dell’azione e che le caratteristiche cinematiche dell’azione possono essere distinte all’interno dell’AON. Precedenti studi di neuroimmagine che hanno utilizzato i PLDs hanno esplorato le basi neurali dell’osservazione dell’azione concentrandosi sulla distinzione tra movimento biologico e non biologico, in particolare dei movimenti del corpo intero, ma non hanno esaminato la modulazione dell’attività all’interno dell’AON in risposta alle differenze nei parametri cinematici delle azioni biologiche. Nel secondo studio, abbiamo indagato i substrati neurali attivati durante l’osservazione di azioni di afferramento presentate tramite PLDs eseguite in diverse direzioni (destra, sinistra) e con diverse velocità (veloce, lenta). L’obiettivo principale di questo studio è stato quello di valutare quali aree dell’AON sono principalmente coinvolte nella codifica delle differenze di direzione e velocità dell’azione osservata. Combinando approcci univariati e multivariati, siamo stati in grado di rivelare differenze nell’elaborazione di informazioni cinematiche specifiche all’interno dell’AON. I risultati univariati hanno mostrato che la codifica delle differenze di direzione degli stimoli attivava principalmente le aree occipitali posteriori e laterali, nonché le aree occipito-parietali. Le differenze di velocità hanno attivato la corteccia occipito-temporale laterale e le aree parietali superiori e intraparietali. I risultati multivariati hanno dimostrato che è possibile decodificare la velocità e la direzione a livello di network, con diverse aree dell’AON che contribuiscono alla decodifica della direzione o della velocità, o di entrambe. Nel complesso, i risultati dei due tipi di analisi indicano che i nodi parietali posteriori dell’AON sono principalmente coinvolti nella codifica della direzione di afferramento e che un insieme più ampio di aree, comprese le regioni premotorie, sono fondamentali per la codifica della velocità di afferramento. Questi dati potrebbero essere rilevanti per studi futuri volti a indagare i correlati neurali dell’imitazione di azioni basate su stimoli PLDs. Inoltre, queste informazioni potrebbero essere sfruttate per personalizzare i programmi di riabilitazione dell’arto superiore, basati sull’osservazione, concentrandosi sulla cinematica dell’azione. Infine, i modelli di riconoscimento delle azioni della mano basati sul machine learning, potrebbero essere migliorati addestrandoli sulle caratteristiche cinematiche più informative delle azioni osservate.
Action observation
BIO/09
Biological motion
Grasping actions
Kinematic information
M-PSI/02
MVPA
Mirror neuron system
Point-light displays
fMRI
Leonardo, Fogassi
Università degli studi di Parma. Dipartimento di Medicina e chirurgia
File in questo prodotto:
File Dimensione Formato  
PhD_Thesis_Ziccarelli.pdf

embargo fino al 01/06/2026

Dimensione 20.1 MB
Formato Adobe PDF
20.1 MB Adobe PDF

I documenti in UNITESI sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.14242/192923
Il codice NBN di questa tesi è URN:NBN:IT:UNIPR-192923