Conversational AI for inclusive web browsing: the conweb approach

The evolution of the Web from static pages to dynamic, conversational interfaces is changing how users interact with technology. This thesis explores how inclusive design can empower the development of conversational web technologies, with a focus on accessibility for Blind and Visually Impaired (BVI) users. This research aims to bridge significant accessibility gaps in current web interactions by addressing two primary research questions: 1. How to design effective conversations with the Web? 2. How to transform web pages into dialogs with users? Our methodology adopted a human-centered approach, beginning with preliminary interviews to understand BVI users' unique challenges in web navigation. Through questionnaires and iterative co-design sessions, we identified key pain points and designed a comprehensive set of conversational patterns for voice interaction. These patterns aim to enhance web accessibility through conceptual abstractions such as a conversation-oriented navigation tree to model conversation elements, intuitive and quick navigation mechanisms, content summarization, and robust conversation control options. The core of this thesis is the Conversational Web (ConWeb) framework, which implements the library of conversational patterns that facilitate web browsing through voice commands. User studies with BVI participants demonstrated the framework's effectiveness in improving web navigation and access to information. Positive feedback from users highlighted the improved efficiency, ease of use, and overall better web experience, confirming the potential of conversational AI to create more inclusive web interactions. In addition to the technological advancements, this thesis contributes to the theoretical understanding of how inclusive design can benefit from conversational AI. By integrating principles of Human-Centered Design and Participatory Design, the research discusses lessons learned for developing conversational interfaces that cater to diverse user needs. The findings emphasize the importance of user involvement in the design process and the role of advanced AI technologies in enhancing accessibility. Ultimately, this thesis advocates for an inclusive approach to technology design, aiming to create AI systems that empower all users, regardless of their abilities or backgrounds. By prioritizing inclusivity, we can develop more equitable technologies that benefit society as a whole.

L'evoluzione del Web da pagine statiche a interfacce dinamiche e conversazionali sta cambiando il modo in cui gli utenti interagiscono con la tecnologia. Questa tesi esplora come il design inclusivo possa supportare lo sviluppo di tecnologie web conversazionali, con un focus sull'accessibilità per utenti ciechi e ipovedenti (BVI - Blind and Visually Impaired). La ricerca mira a colmare significative lacune di accessibilità nelle interazioni web attuali, affrontando due principali domande di ricerca: 1. Come progettare conversazioni efficaci con il Web? 2. Come trasformare le pagine web in dialoghi con gli utenti? La nostra metodologia ha adottato un approccio human-centred, a partire da interviste preliminari volte a comprendere le sfide uniche che gli utenti BVI affrontano nella navigazione web. Attraverso questionari e sessioni iterative di co-design, abbiamo identificato i principali punti critici e progettato un insieme completo di pattern conversazionali per l'interazione vocale. Questi pattern mirano a migliorare l’accessibilità del Web attraverso astrazioni concettuali come un albero di navigazione orientato alla conversazione per modellare gli elementi del dialogo, meccanismi di navigazione intuitivi e rapidi, sintesi dei contenuti e opzioni robuste di controllo della conversazione. Il nucleo di questa tesi è il framework Conversational Web (ConWeb), che implementa una libreria di pattern conversazionali per facilitare la navigazione web tramite comandi vocali. Studi condotti con partecipanti BVI hanno dimostrato l'efficacia del framework nel migliorare la navigazione web e l'accesso alle informazioni. I feedback positivi degli utenti hanno evidenziato una maggiore efficienza, facilità d’uso e un’esperienza web complessivamente migliore, confermando il potenziale dell’intelligenza artificiale conversazionale per creare interazioni web più inclusive. Oltre ai progressi tecnologici, questa tesi contribuisce alla comprensione teorica di come il design inclusivo possa trarre beneficio dall’intelligenza artificiale conversazionale. Integrando i principi di Human-Centred e Participatory Design, la ricerca discute le lezioni apprese nello sviluppo di interfacce conversazionali che rispondano a esigenze diversificate degli utenti. I risultati sottolineano l’importanza del coinvolgimento diretto degli utenti nel processo di progettazione e il ruolo delle tecnologie AI avanzate nell’ampliare l’accessibilità. In definitiva, questa tesi promuove un approccio inclusivo alla progettazione tecnologica, con l'obiettivo di creare sistemi di intelligenza artificiale che potenzino tutti gli utenti, indipendentemente dalle loro capacità o dal loro background. Dare priorità all’inclusività significa sviluppare tecnologie più eque, a beneficio dell’intera società.