Agent-based modelling of energy commodity markets: a data-driven framework for agent design in strategic energy trading

The increasing penetration of renewable energy sources and the ongoing digitalization of the energy system are reshaping the structure and behavior of modern energy commodity markets. These changes have led to higher levels of uncertainty and volatility, and to more complex interactions across market participants. Therefore, it raised the need for advanced modeling tools that can represent the heterogeneity, the learning process and the adaptation typical of market participants. In this context, agent-based models offer a flexible framework to study market dynamics, but their realism is often limited by simplified or static representations of traders' behavior. This thesis proposes a novel methodological framework for the design of adaptive, data-driven trading agents based on Evolutionary Algorithms, Machine Learning, and Reinforcement Learning. The objective is to develop agents with evolving and responsive behavior that can operate autonomously in energy commodity markets and can be integrated into agent based models to enrich their heterogeneity and behavioral complexity. In particular, the framework developed consists of two components: a first and a second layer. The first layer is composed of agents with evolving behaviors, such as the optimization agent implemented in this thesis, which uses evolutionary algorithms to identify high-performing trading strategies through population based optimization. The second layer is an orchestrator agent based on Reinforcement Learning, which is able to dynamically select or combine the first layer agents, and hence to activate different trading behaviors and strategies depending on the market conditions. In collaboration with the A2A Spa Trading and Execution office, the methodology has been tested on the European Emission Allowance futures market. This is characterized by a high volatility and growing importance within the energy transition. The case study shows that the developed agents are able to formulate effective strategies and adjust their behavior as market conditions evolve. Therefore, results confirm the feasibility and potentiality of the framework developed. The model's flexibility makes it suitable for a variety of applications across the energy sector, beyond energy trading. Indeed, the agents developed can be employed for example to define optimal control strategies in energy management systems or to coordinate heterogeneous resources in microgrids. In addition, the broader framework of agent based modeling supports new ways of studying energy systems, by exploring emergent behavior and developing controlled and interpretable simulation tools.

L’aumento della penetrazione delle fonti di energia rinnovabile e la continua digitalizzazione del sistema energetico stanno ridefinendo la struttura e il comportamento dei moderni mercati delle commodity energetiche. Questi cambiamenti hanno portato a livelli più elevati di incertezza e volatilità, nonché a interazioni più complesse tra i partecipanti al mercato. Di conseguenza, è emersa la necessità di strumenti di modellazione avanzati in grado di rappresentare l’eterogeneità, i processi di apprendimento e la capacità di adattamento tipici degli operatori di mercato. In questo contesto, i modelli basati su agenti offrono un quadro flessibile per lo studio delle dinamiche di mercato, ma il loro realismo è spesso limitato da rappresentazioni semplificate o statiche del comportamento dei trader. Questa tesi propone un nuovo framework metodologico per la progettazione di agenti di trading adattivi e data-driven, basati su algoritmi evolutivi, apprendimento automatico e apprendimento per rinforzo. L’obiettivo è sviluppare agenti con comportamenti evolutivi e reattivi, in grado di operare autonomamente nei mercati delle commodity energetiche e di essere integrati in modelli ad agenti per arricchirne l’eterogeneità e la complessità comportamentale. In particolare, il framework sviluppato è composto da due componenti: un primo e un secondo livello. Il primo livello è costituito da agenti con comportamenti evolutivi, come l’agente ottimizzatore implementato in questa tesi, che utilizza algoritmi evolutivi per identificare strategie di trading ad alte prestazioni attraverso un processo di ottimizzazione. Il secondo livello è rappresentato da un agente orchestratore basato su apprendimento per rinforzo, in grado di selezionare dinamicamente o combinare gli agenti del primo livello, attivando così diversi comportamenti e strategie di trading in funzione delle condizioni di mercato. In collaborazione con l’ufficio Trading and Execution di A2A S.p.A., la metodologia è stata testata sul mercato dei futures delle European Emission Allowances, caratterizzato da elevata volatilità e crescente rilevanza nel contesto della transizione energetica. Il caso di studio dimostra che gli agenti sviluppati sono in grado di formulare strategie efficaci e di adattare il proprio comportamento all’evoluzione delle condizioni di mercato. I risultati confermano pertanto la fattibilità e il potenziale del framework proposto. La flessibilità del modello lo rende adatto a un’ampia gamma di applicazioni nel settore energetico, oltre al trading. Gli agenti sviluppati possono infatti essere impiegati, ad esempio, per definire strategie di controllo ottimali nei sistemi di gestione dell’energia o per coordinare risorse eterogenee nelle microreti. Inoltre, il più ampio framework della modellazione ad agenti consente nuovi approcci allo studio dei sistemi energetici, attraverso l’analisi di comportamenti emergenti e lo sviluppo di strumenti di simulazione controllati e interpretabili.