Toward autonomous vineyard operations : development and in-field testing of a self-driving tractor

Since the early 1900s, automation has been shaping the agriculture industry on a global scale. Up to these days, the main automated operations are spraying, pruning, weeding, and soil monitoring. Some of these tasks still require the presence of the operator which fills the gap in perception and mobility. In recent years, thanks to the advancements in sensor technology and autonomous driving algorithms for road vehicles, more and more attention is being placed on self-driving tractors and complex crop management operations. Although there are various projects driven by these interests, fully autonomous navigation in orchards and many horticulture operations remain open problems. In the first place, it is clear the need for robust and tailored perception solutions, that can cope with the seasonal changes and the unstructured nature of the agricultural field. Furthermore, the uneven and soft ground makes the modeling and control of the robot’s motion very challenging. This work aims to address these challenges with the development of the main modules for autonomous grape harvesting. In particular, we present a complete navigation solution for an autonomous vineyard tractor and propose a computer vision algorithm for grapes and grape peduncle detection. The latter implements a YOLOv4 network for grapes and berries detection, and classical image processing techniques for grape peduncle detection. After a discussion on the perception challenges of a vineyard environment, we describe a localization scheme designed to cope with GNSS failures by fusing inertial sensors with an online calibrated magnetometer. Then, we describe a point cloud segmentation algorithm designed to filter the ground, leaves, and vine branches from the LiDAR data. The filtered point cloud, together with the reference path, is used to build a local map for the motion controller. The latter is based on the potential field method which makes it robust to vehicle and environment modeling errors. The local map is built such that the vehicle is attracted by the path and repelled by the obstacles. We validated the proposed navigation scheme during extensive tests on a real vineyard. Furthermore, the peduncle detection algorithm was validated on a quasi-realistic vine and resulted to be accurate and fast in the detection of grape peduncles, opening the way to autonomous grape harvesting.

Dai primi del 1900, l'automazione sta modificando la forma dell'industria agricola a livello globale. Fino ad oggi, le principali operazioni automatizzate sono la spruzzatura, la potatura, la rimozione delle erbacce e il monitoraggio del terreno. Alcune di queste attività richiedono ancora la presenza dell'operatore, il quale colma il divario nella percezione e nella mobilità. Negli ultimi anni, grazie ai progressi nella tecnologia dei sensori e negli algoritmi di guida autonoma per i veicoli stradali, si sta prestando sempre più attenzione ai trattori a guida autonoma e alla automatizzazione di complesse operazioni di gestione delle colture. Anche se ci sono vari progetti spinti da questi interessi, la navigazione completamente autonoma in frutteti e molte operazioni di orticoltura rimangono problemi aperti. In primo luogo, è chiaro il bisogno di soluzioni di percezione robuste e specializzate, in grado di gestire i cambiamenti stagionali e la natura non strutturata del campo agricolo. Inoltre, il terreno irregolare e morbido rende la modellizzazione e il controllo del movimento di robot molto impegnativo. Questo lavoro mira a affrontare queste sfide con lo sviluppo dei principali moduli per la vendemmia autonoma di uva. In particolare, presentiamo una soluzione completa di navigazione autonoma per un trattore in vigna e proponiamo un algoritmo di visione artificiale per la rilevazione dell'uva e del suo picciolo. Quest'ultimo implementa una rete YOLOv4 per la identificazione di grappoli e acini, e tecniche classiche di elaborazione delle immagini per la identificazione del picciolo. Dopo una discussione sulle sfide di percezione di un ambiente viticolo, descriviamo uno schema di localizzazione progettato per far fronte alla perdita di segnale GNSS mediante la fusione di sensori inerziali con un magnetometro calibrato online. Dopodiche, descriviamo un algoritmo di segmentazione di nuvole di punti progettato per filtrare il terreno, le foglie e i rami della vite dai dati LiDAR. La nuvola di punti filtrata, insieme al percorso di riferimento, viene utilizzata per costruire una mappa locale per il controllore di movimento. Quest'ultimo si basa sul metodo del campo potenziale che lo rende robusto agli errori di modellizzazione del veicolo e dell'ambiente. La mappa locale viene costruita in modo che il veicolo sia attratto dal percorso e respinto dagli ostacoli. Abbiamo validato lo schema di navigazione proposto durante test estesi su un vero vigneto. Inoltre, l'algoritmo di rilevamento del peduncolo è stato validato su una vite quasi realistica ed è risultato accurato e veloce nella rilevazione dei piccioli, aprendo la strada allo sviluppo di sistemi per la vendemmia autonoma.