L'integrazione dei sistemi robotici in contesti reali e centrati sulla persona, come quelli sanitari, richiede un cambio di prospettiva verso un'interazione più collaborativa e intuitiva fra umano e robot. Questa tesi presenta un progetto di ricerca volto a far progredire la Human-Robot Interaction (HRI), affrontando due limiti principali: la difficoltà per gli esperti del dominio nel definire i compiti da affidare al robot e la scarsa capacità dei robot di adattare il loro comportamento durante l'esecuzione di attività collaborative con gli esseri umani. Il primo contributo si colloca nell'ambito dell'End-User Development (EUD). In questa prima parte vengono sviluppati e valutati degli ambienti multimodali che permettono agli esperti del dominio, in particolare ai professionisti sanitari, di definire, modificare e validare compiti robotici usando il linguaggio naturale ed interfacce grafiche dedicate. Questo approccio sfrutta i Large Language Model (LLM) per tradurre gli obiettivi espressi dagli utenti in rappresentazioni operative del compito, riducendo in modo significativo la barriera d'ingresso della programmazione robotica. L'approccio è stato validato attraverso lo sviluppo di PRAISE (Pharmaceutical Robotic and AI System for End Users), un ambiente EUD pensato per le preparazioni farmaceutiche, e successivamente esteso ad ADMIRABLE (A Domain-independent Multimodal Interface for Robot Adaptable Behavior Leveraging End-user development), un sistema svincolato dal contesto applicativo, ma al contempo adattabile ad esso da parte dell'utente, dotato di un gemello digitale del robot per simulare e validare in sicurezza i compiti definiti. Il secondo contributo è un'architettura adattiva per la Human-Robot Collaboration (HRC). Viene proposta un'architettura ibrida che integra il ragionamento deterministico basato su modelli simbolici con le capacità generative e di interpretazione contestuale degli LLM. Combinando rappresentazioni esplicite di compiti collaborativi con la comprensione del contesto, l'architettura consente al robot di monitorare continuamente l'ambiente, anticipare le azioni umane e rilevare eventuali deviazioni dai flussi di lavoro previsti. L'integrazione fra ragionamento strutturato e ragionamento flessibile permette al robot di fornire indicazioni ed interventi contestuali, migliorando la fiducia, l'efficienza e la fluidità dell'interazione. Nel complesso, questi contributi rendono più naturale la definizione e la validazione dei compiti robotici e favoriscono una collaborazione tra persone e robot più adattabile, adattiva e consapevole del contesto. Il lavoro punta così allo sviluppo di assistenti robotici flessibili, realmente orientati all'uomo e pronti per essere impiegati nel mondo reale.

The integration of robotic systems into complex, human-centric environments, such as healthcare, necessitates a paradigm shift towards truly collaborative and intuitive interaction. This thesis presents a comprehensive research project dedicated to advancing Human-Robot Interaction (HRI) by addressing two critical limitations: the difficulty that domain experts face in defining robot tasks, and the lack of robot adaptability during human-robot collaborative execution. The first major contribution is framed in the End-User Development (EUD) research area. I propose and evaluate multimodal environments that enable domain experts, specifically healthcare professionals, to define, modify, and validate robot tasks using natural language and graphic interfaces. This approach leverages Large Language Models (LLMs) to translate high-level user goals into robot task representations, significantly lowering the entry barrier for robot programming. The approach is demonstrated through the creation of PRAISE (Pharmaceutical Robotic and AI System for End Users), a domain-specific EUD environment for pharmaceutical compounding, and further extended to ADMIRABLE (A Domain-independent Multimodal Interface for Robot Adaptable Behavior Leveraging End-user development), a domain-independent system that includes a Digital Twin of the robot for simulation and safety validation. The second core contribution is an adaptive Human-Robot Collaboration (HRC) architecture. I propose a hybrid architecture that combines deterministic, model-based reasoning with the generative and context-aware capabilities of LLMs. By integrating explicit representations of collaborative tasks and situational awareness, the architecture enables the robot to continuously monitor the environment, anticipate human actions, and detect deviations from planned workflows. This combination of structured and flexible reasoning allows the robot to generate adaptive, context-sensitive guidance and collaborative support actions, enhancing trust, efficiency, and fluency in dynamic human-robot interactions. Together, these contributions enable more intuitive task definition and validation, and more adaptive and context-sensitive collaboration between humans and robots, supporting flexible and human-centered robotic assistants for real-world deployment.

Human-Robot Collaboration in Healthcare: New Programming and Interaction Techniques

GARGIONI, LUIGI
2026

Abstract

L'integrazione dei sistemi robotici in contesti reali e centrati sulla persona, come quelli sanitari, richiede un cambio di prospettiva verso un'interazione più collaborativa e intuitiva fra umano e robot. Questa tesi presenta un progetto di ricerca volto a far progredire la Human-Robot Interaction (HRI), affrontando due limiti principali: la difficoltà per gli esperti del dominio nel definire i compiti da affidare al robot e la scarsa capacità dei robot di adattare il loro comportamento durante l'esecuzione di attività collaborative con gli esseri umani. Il primo contributo si colloca nell'ambito dell'End-User Development (EUD). In questa prima parte vengono sviluppati e valutati degli ambienti multimodali che permettono agli esperti del dominio, in particolare ai professionisti sanitari, di definire, modificare e validare compiti robotici usando il linguaggio naturale ed interfacce grafiche dedicate. Questo approccio sfrutta i Large Language Model (LLM) per tradurre gli obiettivi espressi dagli utenti in rappresentazioni operative del compito, riducendo in modo significativo la barriera d'ingresso della programmazione robotica. L'approccio è stato validato attraverso lo sviluppo di PRAISE (Pharmaceutical Robotic and AI System for End Users), un ambiente EUD pensato per le preparazioni farmaceutiche, e successivamente esteso ad ADMIRABLE (A Domain-independent Multimodal Interface for Robot Adaptable Behavior Leveraging End-user development), un sistema svincolato dal contesto applicativo, ma al contempo adattabile ad esso da parte dell'utente, dotato di un gemello digitale del robot per simulare e validare in sicurezza i compiti definiti. Il secondo contributo è un'architettura adattiva per la Human-Robot Collaboration (HRC). Viene proposta un'architettura ibrida che integra il ragionamento deterministico basato su modelli simbolici con le capacità generative e di interpretazione contestuale degli LLM. Combinando rappresentazioni esplicite di compiti collaborativi con la comprensione del contesto, l'architettura consente al robot di monitorare continuamente l'ambiente, anticipare le azioni umane e rilevare eventuali deviazioni dai flussi di lavoro previsti. L'integrazione fra ragionamento strutturato e ragionamento flessibile permette al robot di fornire indicazioni ed interventi contestuali, migliorando la fiducia, l'efficienza e la fluidità dell'interazione. Nel complesso, questi contributi rendono più naturale la definizione e la validazione dei compiti robotici e favoriscono una collaborazione tra persone e robot più adattabile, adattiva e consapevole del contesto. Il lavoro punta così allo sviluppo di assistenti robotici flessibili, realmente orientati all'uomo e pronti per essere impiegati nel mondo reale.
26-gen-2026
Inglese
The integration of robotic systems into complex, human-centric environments, such as healthcare, necessitates a paradigm shift towards truly collaborative and intuitive interaction. This thesis presents a comprehensive research project dedicated to advancing Human-Robot Interaction (HRI) by addressing two critical limitations: the difficulty that domain experts face in defining robot tasks, and the lack of robot adaptability during human-robot collaborative execution. The first major contribution is framed in the End-User Development (EUD) research area. I propose and evaluate multimodal environments that enable domain experts, specifically healthcare professionals, to define, modify, and validate robot tasks using natural language and graphic interfaces. This approach leverages Large Language Models (LLMs) to translate high-level user goals into robot task representations, significantly lowering the entry barrier for robot programming. The approach is demonstrated through the creation of PRAISE (Pharmaceutical Robotic and AI System for End Users), a domain-specific EUD environment for pharmaceutical compounding, and further extended to ADMIRABLE (A Domain-independent Multimodal Interface for Robot Adaptable Behavior Leveraging End-user development), a domain-independent system that includes a Digital Twin of the robot for simulation and safety validation. The second core contribution is an adaptive Human-Robot Collaboration (HRC) architecture. I propose a hybrid architecture that combines deterministic, model-based reasoning with the generative and context-aware capabilities of LLMs. By integrating explicit representations of collaborative tasks and situational awareness, the architecture enables the robot to continuously monitor the environment, anticipate human actions, and detect deviations from planned workflows. This combination of structured and flexible reasoning allows the robot to generate adaptive, context-sensitive guidance and collaborative support actions, enhancing trust, efficiency, and fluency in dynamic human-robot interactions. Together, these contributions enable more intuitive task definition and validation, and more adaptive and context-sensitive collaboration between humans and robots, supporting flexible and human-centered robotic assistants for real-world deployment.
FOGLI, Daniela
BARONI, Pietro
Università degli studi di Brescia
Brescia
File in questo prodotto:
File Dimensione Formato  
PhD_Thesis_Luigi_Gargioni.pdf

accesso aperto

Licenza: Tutti i diritti riservati
Dimensione 11.23 MB
Formato Adobe PDF
11.23 MB Adobe PDF Visualizza/Apri

I documenti in UNITESI sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.14242/359706
Il codice NBN di questa tesi è URN:NBN:IT:UNIBS-359706