Innovative methodologies in agriculture for high-throughput plant phenomics using computer vision and artificial intelligence

Plant phenotyping is essential for plant breeding and crop management, but traditional methods are labor-intensive and prone to errors. Computer vision and deep learning (DL) offer solutions by rapidly and accurately analyzing plant images. However, data management, annotation, and preprocessing for deep learning models can be costly and time-consuming. Additionally, advanced models may require architectural modifications to minimize computational costs, streamline the models, and enhance their performance for optimal diagnostics. This study seeks to systematically review the key hardware and software elements that influence high-throughput plant phenotyping. It will also delve deeply into the software and algorithms used in this field. The research will particularly emphasize innovative methodologies in data management and pinpoint the most effective algorithms for analyzing data generated by plant phenotyping platforms using computer vision and artificial intelligence within a laboratory setting. A deep learning model (YOLOv5) be designed to effectively recognize diverse morphological features across various plant species. This model, coupled with transfer learning and rigorous evaluation techniques, achieved notably high scores in precision, recall, and F1-measure, adeptly addressing the unique challenges posed by the input images. This research introduces an innovative approach to address dataset imbalances using data balancing techniques. By pooling the data and generating extra samples for underrepresented classes, the dataset is rebalanced. Moreover, an attention module is integrated into the proposed head model architecture (YOLOv8) to enhance the detection capability of target classes. These methods enable the training of deep learning models with significantly improved accuracy. The optimization of model head adaptations to enhance the detection of small objects was presented, utilizing the basic architecture of YOLOv8. As a result, the integrated SO-YOLOv5 model demonstrates higher accuracy in detecting small objects while minimizingv computational costs and maintaining simplicity. An alternative approach to the RSA segmentation problem was presented, employing binary classification through probabilistic map estimation to classify original image pixels as background or foreground. This work introduces a comprehensive processing pipeline for end-toend analysis of factory RSAs. In conclusion, this thesis develops methods to reduce time and effort and also increase accuracy and performance for applying DL models in plant phenotyping. It investigates single-stage detectors that can detect aerial parts of plants, and a comprehensive processing pipeline for end-to-end analysis of factory RSAs by CNNs models. By making DL models more accessible and scalable, this research advances plant phenotyping and crop production

La fenotipizzazione delle piante è essenziale per il miglioramento genetico e la gestione delle colture, ma i metodi tradizionali sono laboriosi e soggetti a errori. La visione artificiale e il deep learning (DL) offrono soluzioni rapide e accurate per analizzare le immagini delle piante. Tuttavia, la gestione dei dati, l’annotazione e la pre-elaborazione per i modelli di deep learning possono essere costose e richiedere molto tempo. Inoltre, i modelli avanzati potrebbero necessitare di modifiche architetturali per ridurre i costi computazionali, semplificare i modelli e migliorarne le prestazioni per una diagnostica ottimale. Questo studio si propone di rivedere sistematicamente gli elementi chiave hardware e software che influenzano la fenotipizzazione ad alta capacità delle piante. Verranno analizzati in profondità i software e gli algoritmi utilizzati in questo campo. In particolare, la ricerca metterà in evidenza le metodologie innovative nella gestione dei dati e identificherà gli algoritmi più efficaci per analizzare i dati generati dalle piattaforme di fenotipizzazione delle piante utilizzando visione artificiale e intelligenza artificiale in un contesto di laboratorio. Un modello di deep learning (YOLOv5) è stato progettato per riconoscere efficacemente diverse caratteristiche morfologiche in una vasta gamma di specie vegetali. Questo modello, combinato con il transfer learning e rigorose tecniche di valutazione, ha raggiunto punteggi particolarmente elevati in termini di precisione, richiamo (recall) e F1-measure, affrontando abilmente le sfide uniche poste dalle immagini di input. Questa ricerca introduce un approccio innovativo per affrontare gli squilibri nei dataset mediante tecniche di bilanciamento dei dati. Aggregando i dati e generando campioni aggiuntivi per le classi sottorappresentate, il dataset viene riequilibrato. Inoltre, un modulo di attenzione è stato integrato nell’architettura del modello proposto (YOLOv8) per migliorare la capacità di rilevamento delle classi target. Questi metodi consentono l’addestramento di modelli di deep learning con una precisione significativamente migliorata. È stata presentata l’ottimizzazione delle modifiche alla testa del modello per migliorare il rilevamento di piccoli oggetti, utilizzando l’architettura di base di YOLOv8. Di conseguenza, il modello integrato SO-YOLOv5 dimostra una maggiore accuratezza nel rilevamento di piccoli oggetti, riducendo al contempo i costi computazionali e mantenendo la semplicità. Un approccio alternativo al problema della segmentazione RSA è stato presentato, utilizzando la classificazione binaria mediante la stima di mappe probabilistiche per classificare i pixel delle immagini originali come sfondo o primo piano. Questo lavoro introduce una pipeline di elaborazione completa per l’analisi end-to-end degli RSA in ambienti industriali. In conclusione, questa tesi sviluppa metodi per ridurre il tempo e lo sforzo, aumentando al contempo accuratezza e prestazioni nell’applicazione dei modelli DL alla fenotipizzazione delle piante. Esamina rilevatori a stadio singolo in grado di rilevare le parti aeree delle piante e una pipeline di elaborazione completa per l’analisi end-to-end degli RSA industriali tramite modelli CNN. Rendendo i modelli DL più accessibili e scalabili, questa ricerca avanza nel campo della fenotipizzazione delle piante e della produzione agricola.