Advancing anomaly detection in high-resolution industrial product images

This research addresses the challenges of anomaly detection in industrial environments, particularly the difficulties faced when deploying state-of-the-art visual inspection systems in real-world industrial settings. Anomaly detection, critical for ensuring the quality and safety of manufactured products, has been a key research area in industrial applications. However, the widespread adoption of unsupervised machine learning algorithms for anomaly detection remains limited due to several technical challenges. This thesis investigates these challenges and presents two novel approaches to overcome current limitations. The first approach introduces a novel method that combines pre-trained neural networks with sparse dictionary learning. The central research question is whether anomaly detection accuracy can be enhanced without significantly increasing computational costs, especially in scenarios with high variance among objects. To address this, the thesis develops a Patchwise Sparse Dictionary Learning (PSDL) framework that integrates activation maps from pre-trained convolutional neural networks (CNNs). This framework enables the extraction of localized patch-level features, which are then sparsely encoded to capture critical variations in the data. The method leverages transfer learning, allowing it to benefit from the powerful feature representations learned by CNNs on large-scale datasets while maintaining computational efficiency: we train a single model for inspecting different types of objects. The framework minimizes redundant information by applying sparse dictionary learning and focuses on the most relevant features for detecting anomalies. The experimental results demonstrate that this approach achieves the accuracy of the best anomaly detection models, particularly when dealing with high variability in object appearance. The second approach tackles the scalability challenges inherent in anomaly detection for large industrial images, where high resolution and object complexity make it difficult to apply traditional methods. The thesis proposes a method named SADSeM (Scalable Anomaly Detection with Segmentation Models), which is designed to handle large images without compromising detection accuracy. SADSeM uses fine-tuned MaskRCNN segmentation models with ResNet backbones to process high-resolution images. To overcome computational and physical limitations, SADSeM divides large images into smaller crops, which are processed independently by the segmentation model. Each patch undergoes semantic segmentation, allowing the model to localize and extract features at a granular level. The segmented patches are then combined to form comprehensive predictions over the entire image, ensuring that the model scales efficiently to handle large datasets while maintaining high accuracy. This patch-based approach allows SADSeM to operate on very large images that are common in industrial settings, such as those used in tire manufacturing, without a loss in performance. The method is tested on various benchmark datasets. In these experiments, SADSeM consistently outperforms baseline models in both image-level and pixel-level anomaly detection when applied in a scenario of increasing image size. One of the key contributions of the thesis is the detailed experimentation and validation of SADSeM against baseline models like PatchCore on a dataset generated from real-world industrial factories such as tire manufacturing. Collaborating with a leading tire manufacturer, the method was applied to this dataset for this research, consisting of high-resolution images of tire treads. The results show that SADSeM not only improves detection accuracy but also enhances the robustness of the model against various production conditions, such as differences in tire mold designs and factory cleanliness. These findings provide empirical evidence of SADSeM's effectiveness in industrial anomaly detection, where the ability to process large and complex images is essential. In conclusion, this research makes significant contributions to the field of anomaly detection by offering two innovative approaches that address some limitations preventing the widespread adoption of unsupervised machine learning models in industrial environments. The findings of this research pave the way for further advancements in automated quality control systems, with the potential to improve productivity and reduce operational costs across various industries.

Questa ricerca affronta le sfide dell'automatizzazione del controllo qualità negli ambienti industriali, in particolare le difficoltà riscontrate nell'implementazione di sistemi di ispezione visiva all'avanguardia in contesti industriali reali. La rilevazione di anomalie, fondamentale per garantire la qualità e la sicurezza dei prodotti manifatturieri, rappresenta un'area di ricerca chiave nelle applicazioni industriali. L'adozione diffusa di algoritmi di apprendimento automatico non supervisionati per la rilevazione di anomalie è ancora limitata a causa di diverse sfide tecniche. Questa tesi indaga tali sfide e presenta due approcci innovativi per superare le attuali limitazioni. Il primo approccio introduce un metodo innovativo che combina reti neurali pre-addestrate con l'apprendimento sparso tramite dizionari (sparse dictionary learning). La domanda di ricerca centrale è se sia possibile migliorare l'accuratezza della rilevazione di anomalie senza aumentare significativamente i costi computazionali, specialmente in scenari con elevata variabilità tra gli oggetti. Per affrontare questo problema, la tesi sviluppa un metodo denominato Patchwise Sparse Dictionary Learning (PSDL) che sfrutta le mappe di attivazione provenienti da reti neurali convoluzionali (CNN) pre-addestrate. Questo algoritmo consente l’estrazione di descrittori localizzati a livello di sotto porzioni dell'immagine, successivamente codificati in modo sparso per catturare le variazioni critiche nei dati. Il metodo sfrutta l’apprendimento per trasferimento (transfer learning), permettendo di beneficiare delle potenti rappresentazioni apprese dalle CNN su dataset di larga scala, mantenendo al contempo l’efficienza computazionale: si addestra un solo modello per l’ispezione di diversi tipi di oggetti. Il framework riduce l'informazione ridondante applicando l'apprendimento sparso e si concentra sulle caratteristiche più rilevanti per la rilevazione delle anomalie. I risultati sperimentali dimostrano che questo approccio raggiunge l’accuratezza dei modelli di rilevazione di anomalie migliori, in particolare in presenza di alta variabilità nell’aspetto degli oggetti. Il secondo approccio affronta le sfide di scalabilità insite nella rilevazione di anomalie su immagini industriali di grandi dimensioni, dove l’alta risoluzione e la complessità degli oggetti rendono difficoltosa l’applicazione dei metodi tradizionali. La tesi propone un metodo chiamato SADSeM (Scalable Anomaly Detection with Segmentation Models), progettato per gestire immagini di grandi dimensioni senza compromettere l’accuratezza nella rilevazione. SADSeM utilizza modelli di segmentazione come MaskRCNN ri-addestrati (fine-tuned) per elaborare immagini ad alta risoluzione. Per superare i limiti computazionali e fisici, SADSeM suddivide le immagini in ritagli più piccoli, elaborati in modo indipendente dal modello di segmentazione. Ogni ritaglio viene sottoposto a segmentazione semantica, consentendo al modello di localizzare ed estrarre caratteristiche a livello granulare. Queste sotto-porzioni segmentate vengono poi ricomposte per ottenere predizioni complessive sull’intera immagine, garantendo così che il modello si adatti in modo efficiente a dataset di grandi dimensioni, mantenendo alta l’accuratezza. Questo approccio basato su componenti consente a SADSeM di operare su immagini molto grandi, tipiche degli ambienti industriali, come quelle utilizzate nella produzione di pneumatici, senza perdere in prestazioni. Il metodo è stato testato su diversi dataset di riferimento. In questi esperimenti, SADSeM ha costantemente superato i modelli di base sia nella rilevazione di anomalie a livello di immagine che a livello di pixel, in scenari con immagini di dimensioni crescenti. Uno dei contributi chiave della tesi è la sperimentazione e validazione di SADSeM rispetto a modelli di base come PatchCore, utilizzando un dataset generato da fabbriche industriali reali, come quelle di produzione di pneumatici. In collaborazione con un importante produttore di pneumatici, il metodo è stato applicato a un dataset composto da immagini ad alta risoluzione dei battistrada. I risultati mostrano che SADSeM non solo migliora l’accuratezza nella rilevazione delle anomalie, ma aumenta anche la robustezza del modello rispetto a varie condizioni di produzione, come le differenze nei design degli stampi degli pneumatici e la pulizia degli impianti. Questi risultati forniscono prove empiriche dell’efficacia di SADSeM nella rilevazione di anomalie industriali, dove la capacità di elaborare immagini grandi e complesse è essenziale. In conclusione, questa ricerca fornisce contributi significativi nel campo della rilevazione di anomalie, offrendo due approcci innovativi che affrontano alcune delle limitazioni che ostacolano l’adozione su larga scala di modelli di apprendimento automatico non supervisionati negli ambienti industriali. I risultati ottenuti aprono la strada a futuri sviluppi nei sistemi automatizzati di controllo qualità, con il potenziale di migliorare la produttività e ridurre i costi operativi in vari settori industriali.