Toward expressive autonomy for neurodiverse users: a design trajectory from creative interaction to adaptive end-user development

The term Neurodevelopmental Disorders (NDDs) refers to a variety of conditions that arise during the developmental period, ranging from specific difficulties in learning or executive functioning to broader impairments in social interaction or intellectual abilities. This doctoral dissertation focuses on leveraging Interactive Smart Spaces (ISSs) to support the well-being and autonomy of people with NDDs. This work is structured into two main parts, reflecting an evolution of the research focus: Part I, "Multisensory Interventions in an Interactive Smart Space (MI)", and Part II, "From Design to Meta-Design (MD): User-Created ISSs". The first part focuses on the development of an interactive activity for people with NDDs. The activity, implemented in the Magic Room - an existing ISS developed at i3lab and deployed in schools and therapeutic centers - was co-designed to foster social communication, emotional regulation, and well-being. This section reports on two evaluation studies conducted with users and discusses the resulting insights. The second part of the thesis shifts the approach to engaging people with NDDs in the hands-on creation of ISSs by introducing meta-design tools. This shift aims not only to provide means for improving the well-being of people with NDDs but also to empower them to design their own tools and shape their technological landscape. Concretely, this takes the form of two tools for creating smart spaces. MakeNodes is a tangible toolkit designed for people with intellectual disability (ID, a form of NDD). It consists of a set of sensing and actuating nodes that can be placed in the environment to augment physical objects and spaces with smart capabilities. The toolkit was evaluated in three workshops, which also enabled a comparison of two interaction modalities and helped fill a gap in the literature by producing a set of design guidelines for people with ID. Building on the experience with MakeNodes, a second tool, Smartifier, is introduced. It uses two LLM-based chatbots to support users in designing and implementing Interactive Smart Spaces, both in terms of enabling smart objects and system behavior. Through conversational assistance that adapts to user input, Smartifier aims to provide richer and more flexible support while preserving a high degree of expressive freedom. The tool was evaluated in a preliminary study involving 17 neurotypical participants. The meta-design approaches presented in the thesis aim to increase technological competence in people with NDDs and, more importantly, foster a sense of autonomy, inclusion, and self-confidence. The results from the evaluations presented in this part are encouraging, and future work should assess the effectiveness and usability of LLM technologies for end-user development among high-functioning individuals with NDDs. Overall, this work shows that Interactive Smart Spaces can meaningfully enhance well-being in people with NDDs through carefully designed multisensory activities, and that these individuals can also take an active role as designers of their own technological environments, given the appropriate support. The findings contribute both practical tools and methodological insights for the design of inclusive, user-developed ISSs. Future research will extend these interventions into new media, such as extended reality, increase the expressive capabilities of the toolkits, and assess their long-term impact in real-life contexts. Comparative studies between tangible approaches and conversational, LLM-based approaches will help identify the most effective pathways to foster autonomy, creativity, and technological agency among people with NDDs.

Il termine “disturbi del neurosviluppo” (Neurodevelopmental Disorders, NDDs) si riferisce a una varietà di condizioni che emergono nel periodo dello sviluppo, spaziando da difficoltà nell’apprendimento o nel funzionamento esecutivo fino a compromissioni più ampie nell’interazione sociale o nelle abilità intellettive. Questa tesi di dottorato si concentra sull’impiego di Interactive Smart Spaces (ISSs) per sostenere il benessere e l’autonomia delle persone con NDD. Il lavoro è strutturato in due parti principali, che riflettono un’evoluzione del focus di ricerca: Parte I, “Multisensory Interventions in an Interactive Smart Space (MI)”, e Parte II, “From Design to Meta-Design (MD): User-Created ISSs”. La prima parte è incentrata sullo sviluppo di un’attività interattiva per persone con NDD. L’attività, implementata nella Magic Room – un ISS sviluppato presso i3lab e utilizzato in scuole e centri terapeutici – è stata co-progettata per promuovere la comunicazione sociale, la regolazione emotiva e il benessere. Questa sezione presenta due studi di valutazione condotti con gli utenti e discute le evidenze emerse. La seconda parte della tesi modifica l’approccio al coinvolgimento delle persone con NDD nella creazione pratica di ISS introducendo strumenti di meta-design. Questo cambiamento non mira solo a fornire nuove modalità per migliorare il benessere delle persone con NDD, ma anche a permettere loro di progettare i propri strumenti e di plasmare il proprio ecosistema tecnologico. In concreto, ciò si traduce in due strumenti per la creazione di smart spaces. MakeNodes è un toolkit tangibile progettato per persone con disabilità intellettiva (intellectual disability, ID, una forma di NDD). È composto da un insieme di nodi sensore e attuatore che possono essere collocati nell’ambiente per aumentare oggetti fisici e spazi con capacità “smart”. Il toolkit è stato valutato in tre workshop, che hanno anche permesso di confrontare due diverse modalità di interazione e di colmare una lacuna nella letteratura producendo un insieme di linee guida di design per persone con ID. Sulla base dell’esperienza con MakeNodes viene introdotto un secondo strumento, Smartifier. Esso utilizza due chatbot basati su LLM per guidare e sostenere gli utenti nella progettazione e realizzazione di Interactive Smart Spaces, sia in termini di definizione degli oggetti smart sia del comportamento complessivo del sistema. Attraverso un’assistenza conversazionale che si adatta all’input dell’utente, Smartifier mira a fornire un supporto più ricco e flessibile, preservando al contempo un elevato grado di libertà espressiva. Lo strumento è stato valutato in uno studio preliminare che ha coinvolto 17 partecipanti neurotipici. Gli approcci di meta-design presentati in questa tesi mirano ad accrescere la competenza tecnologica delle persone con NDD e, ancor più, a favorire un senso di autonomia, inclusione e fiducia in sé. I risultati delle valutazioni descritte in questa parte sono incoraggianti e lo sviluppo futuro della ricerca dovrà indagare l’efficacia e l’usabilità delle tecnologie basate su LLM nello sviluppo da parte di utenti finali (end-user development) tra individui ad alto funzionamento con NDD. Nel complesso, questo lavoro mostra che gli Interactive Smart Spaces possono migliorare in modo significativo il benessere delle persone con NDD attraverso attività multisensoriali progettate con cura, e che tali persone possono anche assumere un ruolo attivo come progettisti dei propri ambienti tecnologici, qualora dispongano di adeguati strumenti di supporto. I risultati contribuiscono sia con strumenti pratici sia con indicazioni metodologiche per la progettazione di ISS inclusivi e sviluppati dagli utenti. Le ricerche future estenderanno questi interventi a nuovi media, come la realtà estesa, potenzieranno le capacità espressive dei toolkit e ne valuteranno l’impatto a lungo termine in contesti reali. Studi comparativi tra approcci tangibili e approcci conversazionali basati su LLM potranno aiutare a identificare i percorsi più efficaci per promuovere autonomia, creatività e agency tecnologica nelle persone con NDD.