Adaptive Regression Monte Carlo for optimal control of energy related assets

Prell, Stephan Alexander GND

In der vorliegenden Arbeit werden optimale Steuerungsprobleme betrachtet, welche im Kontext von Realoptionen in Energiemärkten auftreten. Zur Lösung dieser Steuerungsprobleme wird die Regression Monte Carlo Methode verwendet. Die Arbeit liefert eine umfassende Beschreibung und analysiert die möglichen Ausgestaltungen der Methode. Dabei wird ein Schwerpunkt auf Techniken zur Steuerung beschränkter, endogener Prozesse gelegt. Die Begründung dafür liegt in der Anwendbarkeit dieser Techniken für die Lösung von Speicherproblemen, wie sie in Energie- und Rohstoffmärkten üblich sind. Durch die gegenwärtige Transformation der Elektrizitätsmärkte in Europa glauben wir, dass die Lösung dieser Art von Problemen in Zukunft von hoher Wichtigkeit sein wird. Vor dem Hintergrund der Klimaziele der Europäischen Union, bis 2050 eine weitestgehend klimaneutrale Stromerzeugung zu realisieren, ist eine umfassende Integration von Energiespeichern in das bestehende System in den nächsten Jahren unerlässlich. Inspiriert durch praktische Problemstellungen analysieren wir die Regression Monte Carlo Methode auf ihr Potenzial, als Technik zur Approximation der Lösung von Speicherproblemen mit allgemeinen Beschränkungen zu fungieren. Dazu diskutieren wir mögliche Approximationsräume, um die in der Rückwärtsinduktion definierte Zielfunktion abzubilden. Dabei betrachten wir insbesondere die durch den "Fluch der Dimensionalität" verursachten Probleme. Wir bedienen uns Methoden des statistischen Lernens zur Lösung dieser Probleme. Weiterhin betrachten wir eine nichtparametrische Regressionsmethode zur Schätzung der Zielfunktion. Um die Stärke sequentieller Approximation ausnutzen zu können, wird ein adaptives Abtastverfahren der Zielfunktion zum Zweck der optimierten Wahl von Stichproben entwickelt. Zuvor entwickeln wir das Lösungsverfahren von einfachen optimalen Stopproblemen, hin zu beschränkten Steuerungsproblemen. Ein Schwerpunkt der Arbeit bildet ein Algorithmus zur zweistufigen Approximation der optimalen Steuerung einer Batterie, welche mit einer Photovoltaikanlage, sowie dem Stromnetz verbunden ist. Durch die erhöhte Dimensionalität der Problemstellung steigt die numerische Komplexität der Lösung so stark an, dass zur Lösung weitere Approximationsschritte nötig sind, um das Steuerungsproblem in angemessener Zeit lösen zu können. Dazu formulieren wir eine explizite Darstellung der optimalen Steuerungsstrategie, was eine neue Herangehensweise in der Literatur darstellt. Abschließend beschreiben wir die Anwendbarkeit der Methode auf ein System von Batterien. Wir untermauern unsere Darstellungen mit Hilfe von umfangreichen Simulationsstudien an konkreten Problemstellungen. Die Algorithmen zur Lösung sind, zwecks Reproduzierbarkeit, stets in Pseudocode angegeben.

In the present work, optimal control problems which occur in the context of real options in energy markets are considered. To solve these control problems, the Regression Monte Carlo method is used. The thesis provides a comprehensive description and analyses the possible configurations of the method. The focus will be on techniques for the optimal control of constrained, endogenous processes. This is motivated by the applicability of these techniques for the solution of inventory problems, that are common in energy and commodity markets. Due to the current transformation of the electricity markets in Europe, we believe that the solution of these kinds of problems will be of great importance in the future. Against the background of the European Union's climate target of a mostly carbon free power generation, a comprehensive integration of energy storages into the existing system in the next few years is essential.Inspired by practical problems, we analyse the potential of the Regression Monte Carlo method to serve as a technique for the approximation of the solution for inventory problems with arbitrary constrains. For this purpose, we discuss possible approximation spaces to project the target function, arising as conditional expectation in backward induction, on. Thereby, we consider in particular the problems arising due to the curse of dimensionality. We use methods from the statistical learning literature to solve these problems. Furthermore, we consider a nonparametric regression method for estimating the target function. In order to be able to exploit the strength of sequential approximation, an adaptive sampling method of the target function for the purpose of optimized selection of samples is developed. Prior to this, we develop the solution of different optimal stopping problems and constrained optimal control problems. A focus of the thesis is an algorithm for the bi-level approximation of the optimal control of a battery which is linked to a photovoltaic power station and the grid. Due to the increased dimensionality of the problem, the numerical complexity of the solution increases to such an extent that further approximation steps are necessary to solve the control problem in reasonable time. For this purpose we formulate the optimal control policy explicitly, which represents a new approach in the literature. Finally, we describe the applicability of the method on a system of batteries. We confirm the accuracy of the methods with help of extensive simulation studies on concrete problems. For the sake of reproducibility, we attach pseudocode for all developed algorithms.

Preview

Cite

Citation style:
Prell, S.A., 2020. Adaptive Regression Monte Carlo for optimal control of energy related assets. https://doi.org/10.17185/duepublico/71435
Could not load citation form.

Rights

Use and reproduction:
All rights reserved

Export