stochastic process modeling and distributed decision making frameworks in smart grid systems

Renewable energy sources are typically more environmentally friendly than traditional sources of energy. In addition, they can help to reduce strategic dependence on foreign sources of energy and can potentially provide more stable and secure power supply. However, their integration in the grid is limited by their stochasticity and non-controllable peak production times. At the same time, the increasing diffusion of smart loads such as Electrical Vehicles, stationary batteries and flexible appliances unlocks novel degrees of freedom that can be leveraged to tackle this problem by storing energy production and shifting energy consumption. Moreover, emerging and flexible models for the organization of the economic transactions associated with the energy flows, such as Energy Communities, offer a vehicle for exposing incentive signals to the final users, steering their behavior in a way that is most advantageous for the energy system at large. All these elements paint a complex techno-economical scenario in which comprehensive solutions for the control of flexibility have to be implemented for meeting these needs. Simplicity of implementation is also an important element, favoring solutions based on non-invasive control of independent, autonomous agents based on incentives. In this work, the use of dynamic optimization techniques for training automated controllers able to deal with this multi-faceted situation is proposed. The framework produces sensible solutions that take into account at the same time user preferences and comfort, price signals, stochastic energy production and stochastic usage of the appliances. The problem is framed in the formalism of Stochastic Games, the random phenomena involved are accurately modeled and, after a detailed contextualization with respect to current research, an algorithm is proposed for the elaboration of sensible strategies. The strategies are then analyzed and visualized to gain insights into the behavior of the automated agents. The operation of a community of agents as a provider of flexibility within the current market and legal framework is sketched; with the aid of the tool, the economic viability of this setup is analyzed, as a function of the appropriate parameters. Finally, a simulation of the agents togeter with synthetic electric grids is performed to verify their grid impact and the effect of the tunable parameters on the impact itself; in order to create a suitable testbed for the simulation campaign, an urban grid synthesis tool from public geographical data is developed and presented. In essence, the main scope of this work is to present a modelization of the flexibility management problem as a stochastic game and a novel flexibility quantification tool that can be used to predict the reaction of autonomous agents managing flexibility in the face of exogenous signals and under different parametrizations of the model.

Le fonti di energia rinnovabile sono in genere più rispettose dell'ambiente rispetto alle fonti di energia tradizionali. Inoltre, possono contribuire a ridurre la dipendenza strategica da fonti di energia estere e possono potenzialmente fornire un approvvigionamento energetico più stabile e sicuro. Tuttavia, la loro integrazione nella rete è limitata dalla loro stocasticità e dai picchi di produzione non controllabili. Allo stesso tempo, la crescente diffusione di carichi intelligenti come i veicoli elettrici, le batterie stazionarie e gli elettrodomestici flessibili sblocca nuovi gradi di libertà che possono essere sfruttati per affrontare questo problema immagazzinando la produzione di energia e spostando il consumo di energia. Inoltre, modelli innovativi e flessibili per l'organizzazione delle transazioni economiche associate ai flussi di energia, come le comunità energetiche, offrono un mezzo per esporre incentivi agli utenti finali, orientando il loro comportamento nel modo più vantaggioso per il sistema energetico in generale. Tutti questi elementi dipingono uno scenario tecno-economico complesso in cui è necessario implementare soluzioni complete per il controllo della flessibilità per soddisfare queste esigenze. Anche la semplicità di implementazione è un elemento importante, che favorisce soluzioni centrate sul controllo non invasivo di agenti indipendenti e autonomi, basato su incentivi. In questo lavoro viene proposto l'uso di tecniche di ottimizzazione dinamica per la modellazione di controllori automatici in grado di affrontare questa situazione complessa. Il framework produce soluzioni razionali che tengono conto contemporaneamente delle preferenze e del comfort degli utenti, dei segnali di prezzo, della produzione stocastica di energia e dell'utilizzo stocastico degli apparecchi. Il problema è inquadrato nel formalismo dei giochi stocastici, i fenomeni aleatori coinvolti sono accuratamente modellati e, dopo una dettagliata contestualizzazione rispetto alla ricerca attuale, viene proposto un algoritmo per l'elaborazione di strategie razionali. Le strategie vengono poi analizzate e visualizzate per ottenere informazioni sul comportamento degli agenti automatizzati. Viene delineato il funzionamento di una comunità di agenti come fornitore di flessibilità nell'ambito dell'attuale mercato e quadro giuridico; con l'aiuto dello strumento, viene analizzata la redditività economica di questa configurazione, in funzione dei parametri appropriati. Infine, viene effettuata una simulazione degli agenti e delle reti elettriche sintetiche per verificare il loro impatto sulla rete e l'effetto dei parametri regolabili sull'impatto stesso; al fine di creare un banco di prova adeguato per la campagna di simulazione, viene sviluppato e presentato uno strumento di sintesi della rete urbana a partire da dati geografici pubblici. In conclusione, lo scopo principale di questo lavoro è presentare una modellizzazione del problema della gestione della flessibilità come un gioco stocastico e un nuovo strumento di quantificazione della flessibilità che può essere utilizzato per prevedere la reazione di agenti autonomi che gestiscono la flessibilità di fronte a segnali esogeni e sotto diverse parametrizzazioni del modello.