Deep learning based indoor localization using magnetic field signals and images [Localizzazione indoor basata su deep learning utilizzando segnali del campo magnetico e immagini]

Indoor navigation and localization technologies have become vital in modern society, enabling safe and efficient movement, supporting autonomous systems, and assisting in emergency responses by providing aid to individuals quickly. The goal of indoor localization is to determine precise positions within indoor environments, an area that has attracted significant research interest. One promising approach is magnetic field-based localization combined with visual image technology, which utilizes spatial variations in indoor magnetic fields to provide accurate positioning. This thesis explores how indoor magnetic fields, alongside visual images, can be used to develop a calibration-free, infrastructure-independent localization system that does not rely on external information or electromagnetic infrastructure. The system leverages an Android application to collect magnetic field data from a smartphone’s magnetometer and visual images from its camera, capturing spatial variations in the environment. This combined data helps create odometry information or "fingerprints," which are then used to improve the accuracy of an indoor positioning system through fused measurements of magnetic fields and visual images. This research addresses five key challenges: First, is sensor calibration, which is essential to ensure accurate measurements. Second, generating reliable magnetic fingerprints with visual images for model training and localization is critical. Third, optimizing the minimum number of samples required for real-time localization on resource-constrained devices must be achieved. Finally, identifying and resolving errors caused by misclassified samples that share characteristics but belong to different reference points and are present in some other reference points. To tackle the first challenge, a mini-batch calibration system is proposed, which corrects sensor misalignments, biases, and scale factors using a minibatch of magnetic field measurements. The second challenge is met by developing a magnetic feature projection model that uses both magnetic signals and visual images to create effective fingerprints for model training. The third challenge is addressed by optimizing the number of magnetic field samples required for localization during the online phase, balancing prediction accuracy with processing time. The final challenge is solved through the development of a characteristic-based Least Common Multiple (LCM) clustering algorithm that accurately classifies data points that share similar features but are physically separated. The results demonstrate that integrating magnetic field signals with visual images significantly improves the accuracy of the proposed MH-ViL model. The system is low-cost, practical for use with standard sensors, and capable of being integrated into magnetic field-based Simultaneous Localization and Mapping (SLAM) systems. Most importantly, it highlights the feasibility of building a self-contained, consistent, and accurate indoor localization system using both magnetic field data and visual images.

Le tecnologie di navigazione e localizzazione indoor sono diventate fondamentali nella società moderna, consentendo movimenti sicuri ed efficienti, supportando sistemi autonomi e assistendo nelle risposte alle emergenze fornendo aiuto rapido alle persone. L'obiettivo della localizzazione indoor è determinare posizioni precise all'interno di ambienti chiusi, un campo che ha suscitato un notevole interesse di ricerca. Un approccio promettente è la localizzazione basata sul campo magnetico combinata con la tecnologia delle immagini visive, che sfrutta le variazioni spaziali dei campi magnetici indoor per fornire un posizionamento accurato. Questa tesi esplora come i campi magnetici indoor, insieme alle immagini visive, possano essere utilizzati per sviluppare un sistema di localizzazione privo di calibrazione e indipendente dall'infrastruttura, che non si basi su informazioni esterne o infrastrutture elettromagnetiche. Il sistema utilizza un'applicazione Android per raccogliere dati sul campo magnetico dal magnetometro di uno smartphone e immagini visive dalla sua fotocamera, catturando le variazioni spaziali dell'ambiente. Questi dati combinati aiutano a creare informazioni di odometria o "impronte digitali", che vengono poi utilizzate per migliorare la precisione di un sistema di posizionamento indoor attraverso misurazioni fuse di campi magnetici e immagini visive. Questa ricerca affronta cinque sfide principali: la prima è la calibrazione dei sensori, fondamentale per garantire misurazioni accurate. La seconda riguarda la generazione di impronte magnetiche affidabili con immagini visive per l'addestramento del modello e la localizzazione. La terza sfida consiste nell'ottimizzare il numero minimo di campioni richiesti per la localizzazione in tempo reale su dispositivi con risorse limitate. Infine, è necessario identificare e risolvere gli errori causati da campioni mal classificati che condividono caratteristiche ma appartengono a punti di riferimento diversi e che sono presenti in altri punti di riferimento. Per affrontare la prima sfida, viene proposto un sistema di calibrazione mini-batch, che corregge disallineamenti, bias e fattori di scala dei sensori utilizzando un mini-batch di misurazioni del campo magnetico. La seconda sfida viene risolta sviluppando un modello di proiezione delle caratteristiche magnetiche che utilizza sia segnali magnetici che immagini visive per creare impronte efficaci per l'addestramento del modello. La terza sfida viene affrontata ottimizzando il numero di campioni di campo magnetico necessari per la localizzazione nella fase online, bilanciando la precisione della previsione con il tempo di elaborazione. L'ultima sfida è risolta mediante lo sviluppo di un algoritmo di clustering basato su caratteristiche di Minimo Comune Multiplo (LCM) che classifica accuratamente i punti dati che condividono caratteristiche simili ma sono fisicamente separati. I risultati dimostrano che l'integrazione dei segnali del campo magnetico con le immagini visive migliora significativamente la precisione del modello MH-ViL proposto. Il sistema è a basso costo, pratico per l'uso con sensori standard e capace di essere integrato in sistemi di Localizzazione e Mappatura Simultanea (SLAM) basati su campi magnetici. Soprattutto, evidenzia la fattibilità di costruire un sistema di localizzazione indoor autonomo, coerente e accurato utilizzando sia dati sul campo magnetico che immagini visive.