Crop Classification using High-Performance Deep Learning Predictive Models for Agricultural Yields Analysis

Agriculture plays a key role in driving economic growth, improving livelihoods, and ensuring food security, making the precise and automated monitoring of agricultural practices a global priority. The advent of satellite missions for the acquisition of high-resolution images, such as LandSat and Copernicus Sentinel, combined with advancements in AI methods, has triggered a new era in EO science. These technologies have enabled large-scale analysis of crop yield predictions, soil classification, and crop mapping, leveraging the vast potential of Satellite Image Time Series (SITS) data. However, the high dimensionality and temporal complexity of the data demand novel methodologies and large computational resources to achieve accurate results in a reasonable amount of time. This Ph.D. Thesis describes the design and implementation of AgrUNet, a UNet-based DL architecture specifically targeted for crop classification, using multispectral and multitemporal satellite imagery. AgrUNet includes several neural network design optimizations, including contracting and expansive paths, deep supervision strategies, temporal attention, and hyperparameter fine-tuning using objective-function guided search frameworks like Optuna. The model is engineered for seamless execution on HPC platforms, leveraging multi-GPU configurations to address the computational challenges inherent in processing large-scale EO datasets. The performance of AgrUNet has been evaluated on two open source SITS datasets, the PASTIS comprising 4 tiles of around 100x100 km^2 in France, and the Munich which includes two tiles covering an area of approximately 102x42 km^2 around the city of Munich in Germany. Regarding the PASTIS, the data has been reconstructed using orthorectified images, to remove image distortions or displacements caused by sensor tilts and topographical reliefs. On both, it achieves an average Dice score of approximately 0.90 for segmentation accuracy, and in terms of throughput 59 and 605 img/s on training and inference respectively using one GPU Nvidia Hopper H100. Computing scalability has been measured on several multi-GPU HPC systems, 4x V100, 8x A100, and 1x H100, highlighting an easy porting of the implementation across several generations of GPUs, and a near-ideal speedup. The prediction capabilities of AgruNet are also tested on two use cases implemented within two EU projects. The first is IRIDE, where AgruNet has been used also for the classification of nitrogen-fixing crops in several areas of Italy. This required the construction of a new training dataset, and an in-depth study of the number and type of the classes to include into it. The latter is the MESEO project where AgruNet is used to analyze SITS coming from different satellites. Currently, it is planned to use images from Sentinel-2 and GEI-SAT, and here the main challenge is the use of images with different resolutions. Preliminary results for the IRIDE project have been included in the Thesis, while for MESEO, no results are still available since we are in the early stage of the integration of the model in the pipeline of image acquisition. Overall, the Ph.D. work integrates EO, DL, and HPC to advance agricultural monitoring. The results highlight the importance of temporal data integration, domain-specific adaptability, and computational optimization in pushing the boundaries of automated Earth monitoring. AgrUNet establishes a fast and scalable framework for future studies, enabling the analysis of how crop yields respond to internal factors, such as crop rotation, and external influences, including climate change, precipitation variability, and extreme weather events. By addressing these challenges, AgrUNet aims to contribute to understanding the resilience of agricultural systems, enabling targeted interventions to optimize productivity and mitigate environmental impacts.

L’agricoltura svolge un ruolo fondamentale nel promuovere la crescita economica, le condizioni di vita e la sicurezza alimentare, rendendo il monitoraggio preciso e automatizzato delle pratiche agricole una priorità globale. L'avvento di missioni satellitari per l’acquisizione di immagini ad alta risoluzione, combinato con i progressi nei metodi di IA, ha inaugurato una nuova era per l'EO. Queste tecnologie hanno reso possibile l'analisi su larga scala delle previsioni di resa agricola, della classificazione dei suoli e della mappatura delle colture, sfruttando il vasto potenziale dei dati derivanti dalle SITS. Tuttavia, l’elevata dimensionalità e la complessità temporale di tali dati richiedono metodologie innovative e ingenti risorse computazionali per ottenere risultati accurati in tempi ragionevoli. Questa Tesi descrive la progettazione e l'implementazione di AgrUNet, un'architettura di DL basata sulla UNet, specificamente sviluppata per la classificazione delle colture utilizzando immagini satellitari multispettrali e multitemporali. AgrUNet include diverse ottimizzazioni nella progettazione della rete neurale, tra cui rami contrattivi ed espansivi, strategie di deep supervision, temporal attention e una ricerca ottimizzata degli iperparametri tramite framework come Optuna. Il modello è stato progettato per un'esecuzione su piattaforme HPC, sfruttando configurazioni multi-GPU per affrontare le sfide computazionali nell'elaborazione di dataset EO su larga scala. Le prestazioni di AgrUNet sono state valutate su due dataset SITS open-source: PASTIS, che comprende 4 tiles di circa 100x100 km^2 in Francia, e Munich, che include due tiles coprenti un'area di circa 102x42 km^2 intorno alla città di Monaco, in Germania. È stato necessario ricostruire PASTIS usando immagini ortorettificate per eliminare distorsioni o spostamenti causati dall'inclinazione del sensore e dai rilievi topografici. Su entrambi i dataset, il modello ha raggiunto un Dice score medio di circa 0.90 per l'accuratezza delle segmentazioni e, in termini di throughput, 59 e 605 imgs/s rispettivamente in fase di addestramento e inferenza utilizzando 1 GPU Nvidia Hopper H100. La scalabilità computazionale è stata misurata su più sistemi HPC multi-GPU, tra cui configurazioni con 4x V100, 8x A100 e 1x H100, evidenziando una facile portabilità del modello tra diverse GPU e una scalabilità quasi ideale. Le capacità predittive di AgrUNet sono state inoltre testate in due casi d'uso implementati nell'ambito di due progetti europei: IRIDE, dove AgrUNet è stato utilizzato anche per la classificazione delle colture azotofissatrici in diverse aree d'Italia. Ciò ha richiesto la costruzione di un nuovo dataset di training e uno studio approfondito sul numero e il tipo di classi da includere; e MESEO, dove AgrUNet viene utilizzata per analizzare SITS provenienti da diversi satelliti. Attualmente, si prevede l'uso di immagini da Sentinel-2 e GEI-SAT, con la principale sfida rappresentata dall'utilizzo di immagini con risoluzioni differenti. I risultati preliminari per il progetto IRIDE sono stati inclusi nella Tesi, mentre per MESEO non sono ancora disponibili risultati. Questo lavoro integra EO, DL e HPC per migliorare il monitoraggio agricolo. I risultati evidenziano l'importanza dell'integrazione dei dati temporali, dell'adattabilità specifica al dominio e dell'ottimizzazione computazionale per superare i limiti del monitoraggio automatizzato della Terra. AgrUNet stabilisce un framework veloce e scalabile per studi futuri, consentendo l'analisi di come le rese agricole rispondano a fattori interni, come la rotazione delle colture, e influenze esterne, inclusi cambiamenti climatici, variabilità delle precipitazioni ed eventi meteorologici estremi. Affrontando queste sfide, AgrUNet mira a contribuire alla comprensione della resilienza dei sistemi agricoli, consentendo interventi mirati per ottimizzare la produttività e mitigare gli impatti ambientali.