Machine learning embedded in energy efficient smart eyewear: benchmarking and optimization

This thesis investigates the design of energy-aware smart eyewear that integrates sensing, processing, and algorithmic intelligence within the spatial and power constraints of a wearable device. The first part of the work examines the enabling technologies behind smart eyewear, combining insights from commercial products and academic research. Through a systematic benchmarking analysis, it characterizes the architectural and functional factors that enable autonomous operation and establishes quantitative criteria for evaluating computation, and energy efficiency in embedded systems. Following this analysis, the STM32 microcontroller was selected as the main platform for this thesis due to its powerful Neural Processing Unit (NPU) and the wide range of communication interfaces it provides. The research introduces the Dedalo benchmarking framework, which enables fine-grained measurement of latency and energy consumption across end-to-end on-device AI pipelines. By decomposing execution into pre-processing, inference, and post-processing stages, Dedalo supports phase-resolved attribution and guides targeted optimization of both algorithms and hardware configurations. Applying this methodology across multiple neural architectures yielded an average 25% reduction in the Energy-Delay Product relative to a reference configuration, demonstrating the effectiveness of stage-wise optimization under resource-constrained conditions. From an algorithmic perspective, particular attention was given to both human–computer interaction and user experience, the former through the investigation of interaction modalities and the latter through the personalization of the device via on-device learning. In the audio domain, a compact keyword spotting model (T-KWS) was developed, achieving 92.4% accuracy with only 14.4kB of model weights. The network operates in real time, with a latency of 5.6ms and an energy cost of 0.6mJ per inference, supporting continuous low-power auditory processing suitable for always-on microphone operation in wearable devices. In the context of hand gesture recognition, both sensor-based and camera-based approaches were investigated. Using multi-zone Time-of-Flight modules, the Compact Normalized Histogram representation achieved 96% accuracy within a 9kB memory budget on a three-class task. For a more complex seven-class scenario, combining Time-of-Flight and thermal infrared inputs increased accuracy to 89.8% while maintaining a compact 6.3kB memory footprint, confirming the advantage of multi-sensor fusion under higher classification complexity. In parallel, for camera-based gesture recognition, the OROS algorithm was introduced as a pre-processing stage that transforms frame differences into sparse, event-like motion representations, emulating neuromorphic vision sensors. Efficiently executed on the embedded NPU, OROS achieves a latency of 981µs and an energy consumption of 385µJ per inference, with a memory footprint of only 113B. This enables on-device motion encoding and lightweight gesture recognition with 91% accuracy (297kB) for swipes and 95.5% (65.5kB) for pinches. Lastly, gesture recognition was explored using event-based cameras, which represented the final sensing modality investigated in this work. As no publicly available dataset with spatio-temporal annotations for egocentric gestures was available, the LynX dataset was collected, comprising over 20,000 event-driven samples annotated for both dynamic and static gestures. For hand localization, a YOLOv8n detector trained on LynX achieved a mAP50 of 0.96, confirming the reliability of spatial detection on event-based input. For temporal gesture classification, a ResNet-18 model augmented with temporal shift mechanisms achieved an accuracy of 87.1%, validating the dataset’s suitability for learning motion dynamics from event-driven data. Regarding user experience and personalization, on-device learning was also demonstrated through two representative case studies. For personal object recognition, a metric-learning system based on a MobileNetV2 backbone achieved a Precision@1 of 0.93, demonstrating reliable retrieval performance even with a limited number of reference samples. Similarly, a lightweight x-vector model for speaker verification achieved an equal error rate of 3.8% within a 911kB memory budget, confirming the feasibility of on-device biometric personalization. At the hardware level, ARGO is implemented as a pair of smart glasses integrating the Arke main board with the Giano and Delfi sensor modules, providing a compact and modular platform for embedded intelligence. The system is capable of continuously running a YOLO-based human pose estimation network directly on-device, while simultaneously acquiring visual data and streaming the extracted keypoints to a smartphone via Bluetooth Low Energy. Powered by a 200mAh battery, ARGO sustains continuous operation for approximately 50 minutes, demonstrating the feasibility of real-time perception within the stringent energy and spatial constraints of a wearable form factor. Overall, this work demonstrates that through hardware–software co-design, efficient algorithms, and sensor fusion, it is possible to achieve continuous, energy-aware perception directly on wearable platforms, paving the way for the next generation of intelligent smart devices.

Questo lavoro di tesi analizza la progettazione di occhiali intelligenti a basso consumo energetico, in grado di integrare sensori, capacità di elaborazione e intelligenza artificiale (IA) all’interno dei vincoli di spazio e di potenza tipici dei dispositivi indossabili. Per prima cosa, il lavoro esamina le tecnologie abilitanti alla base degli occhiali intelligenti, combinando conoscenze provenienti sia dai prodotti commerciali sia dalla ricerca accademica. Attraverso un’analisi comparativa delle principali soluzioni esistenti, sono stati identificati le architetture e le funzionalità che rendono possibile il funzionamento autonomo del sistema, insieme a criteri quantitativi per la valutazione della percezione, della capacità di calcolo e dell’efficienza energetica nei dispositivi embedded. A seguito di questa analisi, il microcontrollore STM32N6 è stato selezionato come piattaforma principale di questa tesi per via della sua Unità di Elaborazione Neurale (NPU, dall'inglese Neural Processing Unit) e della vasta gamma di interfacce di comunicazione disponibili. La ricerca introduce il framework di benchmarking Dedalo, che consente una misurazione dettagliata della latenza e del consumo energetico lungo intere pipeline di IA. Scomponendo il processo di inferenza in tre fasi distinte, pre-inferenza, inferenza e post-inferenza, questo framework permette di identificare le fasi più critiche dal punto di vista energetico, guidando l’ottimizzazione sia degli algoritmi che delle configurazioni hardware. Grazie a questo approccio si è arrivato ad una riduzione media del 25% del prodotto energia-latenza su quattro architetture neurali, dimostrando come un’ottimizzazione mirata delle singole fasi possa migliorare in modo significativo l’efficienza complessiva. Dal punto di vista algoritmico, particolare attenzione è stata dedicata sia all’interazione uomo–macchina sia all’esperienza d’utilizzo. Nel dominio audio è stato sviluppato un modello compatto di rilevamento di parole (T-KWS), che ha raggiunto un’accuratezza del 92.4% con soli 14.4 kB di pesi del modello. La rete opera in tempo reale, con una latenza di 5.6 ms e un consumo energetico di 0.6 mJ per inferenza, permettendo un’elaborazione continua e a basso consumo. Per quanto riguarda il riconoscimento dei gesti della mano, sono stati studiati sia approcci basati su sensori sia su telecamere. Utilizzando moduli Time-of-Flight multizona, la rappresentazione Compact Normalized Histogram ha raggiunto un’accuratezza del 96% in un compito di classificazione a tre classi, con un’occupazione di memoria pari a 9 kB. Per uno scenario più complesso a sette classi, la combinazione dei dati Time-of-Flight e infrarossi termici ha raggiunto un’accuratezza pari all’89.8%, mantenendo un’occupazione di memoria di 6.3 kB, a conferma del vantaggio offerto dall’integrazione di più sensori in presenza di una maggiore complessità di classificazione. In parallelo, per il riconoscimento di gesti basato su immagini è stato sviluppato OROS, un algoritmo di pre-elaborazione delle stesse che consente di convertire le differenze tra fotogrammi in rappresentazioni di movimento sparse, analoghe a quelle generate dai sensori neuromorfici. Eseguito in modo efficiente sulla NPU integrata, OROS viene eseguito con una latenza di 981 µs e un consumo energetico di 385 µJ per inferenza, occupando solo 113 B. Questo consente la codifica del movimento direttamente sul dispositivo e il riconoscimento di gesti dinamici, con un’accuratezza del 91% (297 kB) per gli swipe e del 93% (65.5 kB) per i pinch. Infine, il riconoscimento dei gesti è stato esteso all’uso di telecamere a eventi, che rappresentano l’ultima modalità di sensing investigata in questo lavoro. Poiché non erano disponibili dataset con annotazioni spaziotemporali per gesti egocentrici, è stato raccolto il dataset LynX, composto da oltre 20.000 campioni event-driven annotati per gesti dinamici e statici. Per dimostrare la possibilità di stimare la posizione della mano, è stato addestrato un modello YOLOv8n sul dataset LynX, raggiungendo una 50 di 0.96 e confermando l’affidabilità del rilevamento spaziale su input event-based. Per la classificazione temporale dei gesti dinamici, è stato allenato un modello ResNet-18 integrato con meccanismi di spostamento temporale ha ottenuto un’accuratezza dell’87.1%, confermando l’idoneità del dataset per l’apprendimento delle dinamiche del movimento. Per quanto riguarda l’esperienza utente e la personalizzazione, è stata dimostrata la possibilità dell'apprendimento sul dispositivo attraverso due casi di studio rappresentativi. Il primo riguarda il riconoscimento di oggetti personali: un sistema basato su metric learning con backbone MobileNetV2 ha raggiunto una Precision@1 di 0.93, dimostrando prestazioni di riconoscimento affidabili nonostante soli 862 kB di pesi. Nel secondo caso, un modello leggero x-vector per la verifica vocale ha raggiunto un Equal Error Rate del 3.8% con un'occupazione di memoria di 911 kB, confermando la fattibilità di una personalizzazione biometrica del dispositivo. A livello hardware, ARGO è realizzato come un paio di occhiali intelligenti che integrano la scheda principale Arke con i moduli sensoriali Giano e Delfi, costituendo una piattaforma compatta e modulare per l’intelligenza integrata nei sistemi indossabili. Il sistema è in grado di eseguire in modo continuo una rete YOLO per la stima della posa umana direttamente sul microcontrollore, acquisendo simultaneamente le immagini e trasmettendo i risultati a uno smartphone tramite connessione Bluetooth. Alimentato da una batteria da 200 mAh, ARGO assicura un funzionamento continuo dell’applicazione per circa 50 minuti, dimostrando la fattibilità della percezione in tempo reale anche entro i vincoli energetici e computazionali tipici di un sistema a batteria basato su microcontrollore. Nel complesso, il lavoro dimostra come un’attenta integrazione tra hardware, software e algoritmi di elaborazione possa consentire l’esecuzione continua di modelli di intelligenza artificiale a basso consumo energetico direttamente su dispositivi indossabili, ponendo le basi per una nuova generazione di occhiali intelligenti autonomi ed efficienti.