On interaction-aware motion planning for autonomous vehicles

In the ever-evolving landscape of autonomous driving technology, achieving safe and efficient navigation in dynamic environments remains a pivotal challenge. Despite significant progress in recent years, the path towards full technological maturity is far from complete. Central to these advancements is the field of motion planning, where the goal is to generate safe and efficient driving maneuvers in environments populated by multiple interacting agents. At the heart of motion planning research is the recognition that an agent's actions influence, and are influenced by, the actions of other agents in the environment. Therefore, the effectiveness of a planning strategy hinges on its ability to accurately model and interpret the complex dynamics of this circular interplay. This dissertation endeavors to augment the strategic reasoning capabilities of autonomous vehicles by integrating game-theoretic principles and reinforcement learning to develop frameworks that enable safe and efficient navigation in environments rich with interacting agents. We begin by resorting to game theory to model motion planning in a multi-agent systems as a dynamic game. In our first work, we introduce a homotopy-guided decision-making framework for optimal game-theoretic motion planning in deterministic urban environments. The framework was tested in scenarios extracted from the rounD dataset, involving complex interactions at roundabouts to validate the model's ability to converge to globally optimal Nash equilibria solutions. Building upon this, we develop an alternative framework that addresses urban motion planning through the lens of stochastic game theory. This approach aims to mitigate some of the assumptions inherent in our previous work. Testing is performed on a variety of traffic scenarios, such as intersections, lane merges, and ramp merges, to demonstrate the ability of the framework to handle uncertainty and maintain effective navigation in stochastic environments. Furthermore, we introduce two novel optimization-based frameworks dedicated to solving general non-cooperative games, in both urban and racing settings. These frameworks are benchmarked against existing methodologies to highlight their computational efficiency and scalability in solving non-cooperative games that arise in different traffic environments. Finally, we present an extension to our previous work on racing scenarios by utilizing an RL approach. The framework was tested in a high-fidelity physics-based simulation platform, to assess the agent’s strategic maneuvering capabilities and its effectiveness in real-time decision-making under competitive conditions. Testing unveiled emergent behaviors that display a high level of situation awareness, showcasing the agent's ability to respond effectively to complex, unpredictable interactions. Future work will focus on incorporating ethical considerations into our planning frameworks to increase public trust and acceptance, enhance robustness against uncertainties about other agents' cost functions and intents, and address scalability challenges in deploying sophisticated systems in real-world scenarios.

Nel panorama in continua evoluzione della tecnologia AD, raggiungere una navigazione sicura ed efficiente in ambienti dinamici rimane una sfida cruciale. Nonostante significativi progressi negli ultimi anni, il cammino verso la piena maturità tecnologica è lungi dall'essere completato. Al centro di questi avanzamenti si trova il campo della pianificazione del movimento, dove l'obiettivo è generare manovre di guida sicure ed efficienti in ambienti popolati da più agenti interagenti. Al cuore della ricerca sulla pianificazione del movimento c'è il riconoscimento che le azioni di un agente influenzano e sono influenzate dalle azioni degli altri agenti nell'ambiente. Pertanto, l'efficacia di una strategia di pianificazione dipende dalla sua capacità di modellare e interpretare accuratamente le dinamiche complesse di questa interazione circolare. Questa tesi si propone di aumentare le capacità di ragionamento strategico degli AVs integrando i principi della teoria dei giochi e del RL per sviluppare framework che consentano una navigazione sicura ed efficiente in ambienti ricchi di agenti interagenti. Iniziamo ricorrendo alla teoria dei giochi per modellare la pianificazione del movimento in sistemi multi-agente come un gioco dinamico. Nel nostro primo lavoro, introduciamo un framework di decisione guidata da omotopia per la pianificazione del movimento ottimale basata sulla teoria dei giochi in ambienti urbani deterministici. Il framework è stato testato in scenari estratti dal dataset rounD, coinvolgendo interazioni complesse nelle rotatorie per validare la capacità del modello di convergere a soluzioni di equilibrio di Nash globalmente ottimali. Su questa base, sviluppiamo un framework alternativo che affronta la pianificazione del movimento urbano attraverso la lente della teoria dei giochi stocastici. Questo approccio mira a mitigare alcune delle assunzioni insite nel nostro lavoro precedente. I test sono eseguiti su una varietà di scenari di traffico, come incroci, cambi di corsia e ingressi su rampe, per dimostrare la capacità del framework di gestire l'incertezza e mantenere una navigazione efficace in ambienti stocastici. Inoltre, introduciamo due nuovi framework basati sull'ottimizzazione dedicati alla risoluzione di giochi non cooperativi generali, sia in contesti urbani che di gara. Questi framework sono confrontati con metodologie esistenti per evidenziare la loro efficienza computazionale e scalabilità nella risoluzione di giochi non cooperativi che sorgono in diversi ambienti di traffico. Infine, presentiamo un'estensione del nostro lavoro precedente sugli scenari di gara utilizzando un approccio di apprendimento per rinforzo. Il framework è stato testato su una piattaforma di simulazione basata sulla fisica ad alta fedeltà, per valutare le capacità di manovra strategica dell'agente e la sua efficacia nelle decisioni in tempo reale in condizioni competitive. I test hanno rivelato comportamenti emergenti che mostrano un alto livello di consapevolezza della situazione, dimostrando la capacità dell'agente di rispondere efficacemente a interazioni complesse e imprevedibili. I lavori futuri si concentreranno sull'incorporamento di considerazioni etiche nei nostri framework di pianificazione per aumentare la fiducia e l'accettazione del pubblico, migliorare la robustezza contro le incertezze riguardo le funzioni di costo e le intenzioni degli altri agenti, e affrontare le sfide di scalabilità nell'implementazione di sistemi sofisticati in scenari reali.