{"id":{"repo_id":"tu-berlin","oai_identifier":"oai:depositonce.tu-berlin.de:11303/20745"},"canonical_url":"https://search.dev.ndltd.org/etd/tu-berlin/oai:depositonce.tu-berlin.de:11303/20745","repository":{"repo_id":"tu-berlin","name":"Technische Universität Berlin","base_url":"https://api-depositonce.tu-berlin.de/server/oai/request"},"display":{"title":"Data-driven decision-making under uncertainty in power systems","abstract":"In this dissertation, we construct decision-making frameworks and decision-support tools that seek to aid power system operators (SOs) in delivering an economical and reliable power system operation under uncertainty. The dissertation comprises nine publications, each of which lays out an optimization framework under uncertainty or a decision-support tool, on which SOs can capitalize in ensuring a reliable power system operation around the clock. The deepening penetration of renewables greatly exacerbates the uncertainty and variability of net load, that is, system load minus renewable generation. In scheduling the short-term operation of power systems, SOs must explicitly take into account the uncertainty and variability in net load. To that end, SOs solve two key problems that are at the cornerstone of the short- term scheduling of power systems: unit commitment (UC) and economic dispatch. These problems do not only play a central role in vertically integrated utilities, but also form the basis of market optimization problems employed to clear the day-ahead and real-time markets across the globe. Given that in the U.S. alone SOs solve these problems to clear over a $400 billion electricity market annually [1], improvements in UC decision quality could unlock billions of dollars’ worth of savings every year. To take UC decisions under uncertain net load, most existing studies in the literature employ a two-stage stochastic optimization framework, which requires committing to a single, pre-specified distribution to represent the probability distribution of net load. However, since the true, underlying distribution of net load cannot be known in practice, such studies are typically plagued by a poor out-of-sample performance. Further, these studies fail to draw on information on covariates, which refer to contextual information (such as the day of the week, temperature, or lagged observations of net load) that may directly influence the materialized net load levels. Although net load, or other uncertain parameters typically encountered in short-term optimization problems such as demand, market-clearing prices, or renewable generation, are typically influenced by various covariates, classical two-stage stochastic optimization frameworks largely use a one-size-fits-all representation of uncertainty. In this dissertation, we address these shortcomings by working out alternative optimization frameworks under uncertainty. Two of the publications presented herein discuss a distributionally robust optimization (DRO) framework for the UC problem. A major advantage of DRO frameworks is that it immunizes the UC decisions against using an inaccurate probability distribution for net load. The framework we propose relies on forming the nominal distribution using directly real-world data in conjunction with the k-means clustering algorithm and different distance metrics. Subsequently, an ambiguity set of probability distributions is constructed around the nominal distribution using the Kullback- Leibler divergence. In two publications, we demonstrate the application of this framework for different problems (one for the UC problem under uncertain net load, the other for a price-taker microgrid under the uncertainty in both net load and market-clearing prices). The results provide valuable insights into the influence of degree of conservatism and the dataset size on the in-sample and out-of-sample performances. Motivated by the actionable insights provided by covariates, we further discuss in three publications of this dissertation contextual stochastic optimization (CSO) approaches to the UC problem. In these publications, we leverage directly data in conjunction with different machine learning algorithms to prescribe UC decisions by taking explicit account of covariate observations. The UC frameworks proposed in these publications present a significant contribution to the state of the art. These publications are among the first to take a CSO approach to UC, and they present novel methods to construct prescriptions using three ML algorithms, which have to date not been used in any CSO framework. These studies further propose important innovations that help improve decision quality, which are empirically borne out by several numerical studies conducted using real-world data. In addition to the above risk-neutral decision-making approaches, we further propose a risk-averse self-scheduling framework for storage resources bidding in decentralized electricity markets under uncertain market-clearing prices. Among the many contributions of this study is a novel explanation for the seemingly nonintuitive storage dispatch decisions encountered in practice, wherein storage resources fail to discharge at markedly low prices or discharge at significantly high prices. We lay out how risk can serve as an underlying factor for such decisions, a concomitant of which is that such decisions could well be rational and persist—signifying that storage resources may indeed forgo price spikes and not dispatch during periods of scarcity, during which the system is in dire need. In another study, we approach the short-term scheduling problem from a sustainability perspective, and we discuss a UC approach tailored to microgrids, which takes explicit account of greenhouse gas emission amounts and its monetary implications. The results bring home how different carbon tax rate values can influence the scheduling decisions of a microgrid. In the last two publications of this dissertation, we present decision-support tools that seek to aid SOs in coping with the several challenges brought by the deepening penetration of renewables. One such tool focuses on forecasting the start time and magnitude of net load ramps, so that SOs can capitalize on the forecasts to ensure that the system has sufficient rampable capacity to meet steep ramping needs that may eventuate. In the last publication presented in this dissertation, we discuss a prediction model that seeks to exploit the underlying factors that influence the frequency response characteristic of a system so as to forecast the power system frequency in the next minute. This decision-support tool is geared toward imparting extra time to SOs in the event of a large frequency excursion, during which SOs typically race against the time to bring the frequency toward its nominal value. In all nine publications laid out in this cumulative dissertation, we use real-world data to demonstrate the application of the proposed decision-making frameworks and decision-support tools, and we compare our frameworks and tools with benchmark methods proposed in the literature or used in practice based on several evaluation metrics. Extensive simulation results and comparative assessments set out in each publication serve to make evident the effectiveness of each proposed framework and tool.","abstract_html":"In this dissertation, we construct decision-making frameworks and decision-support tools that seek to aid power system operators (SOs) in delivering an economical and reliable power system operation under uncertainty. The dissertation comprises nine publications, each of which lays out an optimization framework under uncertainty or a decision-support tool, on which SOs can capitalize in ensuring a reliable power system operation around the clock. The deepening penetration of renewables greatly exacerbates the uncertainty and variability of net load, that is, system load minus renewable generation. In scheduling the short-term operation of power systems, SOs must explicitly take into account the uncertainty and variability in net load. To that end, SOs solve two key problems that are at the cornerstone of the short- term scheduling of power systems: unit commitment (UC) and economic dispatch. These problems do not only play a central role in vertically integrated utilities, but also form the basis of market optimization problems employed to clear the day-ahead and real-time markets across the globe. Given that in the U.S. alone SOs solve these problems to clear over a $400 billion electricity market annually [1], improvements in UC decision quality could unlock billions of dollars’ worth of savings every year. To take UC decisions under uncertain net load, most existing studies in the literature employ a two-stage stochastic optimization framework, which requires committing to a single, pre-specified distribution to represent the probability distribution of net load. However, since the true, underlying distribution of net load cannot be known in practice, such studies are typically plagued by a poor out-of-sample performance. Further, these studies fail to draw on information on covariates, which refer to contextual information (such as the day of the week, temperature, or lagged observations of net load) that may directly influence the materialized net load levels. Although net load, or other uncertain parameters typically encountered in short-term optimization problems such as demand, market-clearing prices, or renewable generation, are typically influenced by various covariates, classical two-stage stochastic optimization frameworks largely use a one-size-fits-all representation of uncertainty. In this dissertation, we address these shortcomings by working out alternative optimization frameworks under uncertainty. Two of the publications presented herein discuss a distributionally robust optimization (DRO) framework for the UC problem. A major advantage of DRO frameworks is that it immunizes the UC decisions against using an inaccurate probability distribution for net load. The framework we propose relies on forming the nominal distribution using directly real-world data in conjunction with the k-means clustering algorithm and different distance metrics. Subsequently, an ambiguity set of probability distributions is constructed around the nominal distribution using the Kullback- Leibler divergence. In two publications, we demonstrate the application of this framework for different problems (one for the UC problem under uncertain net load, the other for a price-taker microgrid under the uncertainty in both net load and market-clearing prices). The results provide valuable insights into the influence of degree of conservatism and the dataset size on the in-sample and out-of-sample performances. Motivated by the actionable insights provided by covariates, we further discuss in three publications of this dissertation contextual stochastic optimization (CSO) approaches to the UC problem. In these publications, we leverage directly data in conjunction with different machine learning algorithms to prescribe UC decisions by taking explicit account of covariate observations. The UC frameworks proposed in these publications present a significant contribution to the state of the art. These publications are among the first to take a CSO approach to UC, and they present novel methods to construct prescriptions using three ML algorithms, which have to date not been used in any CSO framework. These studies further propose important innovations that help improve decision quality, which are empirically borne out by several numerical studies conducted using real-world data. In addition to the above risk-neutral decision-making approaches, we further propose a risk-averse self-scheduling framework for storage resources bidding in decentralized electricity markets under uncertain market-clearing prices. Among the many contributions of this study is a novel explanation for the seemingly nonintuitive storage dispatch decisions encountered in practice, wherein storage resources fail to discharge at markedly low prices or discharge at significantly high prices. We lay out how risk can serve as an underlying factor for such decisions, a concomitant of which is that such decisions could well be rational and persist—signifying that storage resources may indeed forgo price spikes and not dispatch during periods of scarcity, during which the system is in dire need. In another study, we approach the short-term scheduling problem from a sustainability perspective, and we discuss a UC approach tailored to microgrids, which takes explicit account of greenhouse gas emission amounts and its monetary implications. The results bring home how different carbon tax rate values can influence the scheduling decisions of a microgrid. In the last two publications of this dissertation, we present decision-support tools that seek to aid SOs in coping with the several challenges brought by the deepening penetration of renewables. One such tool focuses on forecasting the start time and magnitude of net load ramps, so that SOs can capitalize on the forecasts to ensure that the system has sufficient rampable capacity to meet steep ramping needs that may eventuate. In the last publication presented in this dissertation, we discuss a prediction model that seeks to exploit the underlying factors that influence the frequency response characteristic of a system so as to forecast the power system frequency in the next minute. This decision-support tool is geared toward imparting extra time to SOs in the event of a large frequency excursion, during which SOs typically race against the time to bring the frequency toward its nominal value. In all nine publications laid out in this cumulative dissertation, we use real-world data to demonstrate the application of the proposed decision-making frameworks and decision-support tools, and we compare our frameworks and tools with benchmark methods proposed in the literature or used in practice based on several evaluation metrics. Extensive simulation results and comparative assessments set out in each publication serve to make evident the effectiveness of each proposed framework and tool.","abstract_has_math":false,"creators":["Yurdakul, Ogün"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":["Albayrak, Sahin"],"committee_chairs":[],"committee_members":[],"year":2023,"date_issued":"2023","date_published":"2023","updated_at":"2026-07-27T21:28:49Z","subjects":[],"languages":["en"],"rights":[],"rights_urls":["http://rightsstatements.org/vocab/InC/1.0/"],"identifier_entries":[{"key":"dc:identifier.uri","label":"Identifier URI","values":["https://doi.org/10.14279/depositonce-19543"],"render_values":[{"text":"https://doi.org/10.14279/depositonce-19543","href":"https://doi.org/10.14279/depositonce-19543","code":true}]}]},"links":{"outbound_url":"https://depositonce.tu-berlin.de/handle/11303/20745","outbound_label":"Repository record","outbound_source":"dc:identifier.uri"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:contributor.advisor","label":"Advisor","values":["Albayrak, Sahin"]},{"key":"dc:creator","label":"Author","values":["Yurdakul, Ogün"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date.accessioned","label":"Dc Date Accessioned","values":["2023-12-21T10:47:46Z"]},{"key":"dc:date.available","label":"Dc Date Available","values":["2023-12-21T10:47:46Z"]},{"key":"dc:date.issued","label":"Date","values":["2023"]},{"key":"dc:type","label":"Dc Type","values":["Doctoral Thesis"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language.iso","label":"Language (ISO)","values":["en"]},{"key":"dc:rights.uri","label":"Rights URI","values":["http://rightsstatements.org/vocab/InC/1.0/"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier.uri","label":"Identifier URI","values":["https://depositonce.tu-berlin.de/handle/11303/20745","https://doi.org/10.14279/depositonce-19543"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description.abstract","label":"Abstract","values":["In this dissertation, we construct decision-making frameworks and decision-support tools that seek to aid power system operators (SOs) in delivering an economical and reliable power system operation under uncertainty. The dissertation comprises nine publications, each of which lays out an optimization framework under uncertainty or a decision-support tool, on which SOs can capitalize in ensuring a reliable power system operation around the clock. The deepening penetration of renewables greatly exacerbates the uncertainty and variability of net load, that is, system load minus renewable generation. In scheduling the short-term operation of power systems, SOs must explicitly take into account the uncertainty and variability in net load. To that end, SOs solve two key problems that are at the cornerstone of the short- term scheduling of power systems: unit commitment (UC) and economic dispatch. These problems do not only play a central role in vertically integrated utilities, but also form the basis of market optimization problems employed to clear the day-ahead and real-time markets across the globe. Given that in the U.S. alone SOs solve these problems to clear over a $400 billion electricity market annually [1], improvements in UC decision quality could unlock billions of dollars’ worth of savings every year. To take UC decisions under uncertain net load, most existing studies in the literature employ a two-stage stochastic optimization framework, which requires committing to a single, pre-specified distribution to represent the probability distribution of net load. However, since the true, underlying distribution of net load cannot be known in practice, such studies are typically plagued by a poor out-of-sample performance. Further, these studies fail to draw on information on covariates, which refer to contextual information (such as the day of the week, temperature, or lagged observations of net load) that may directly influence the materialized net load levels. Although net load, or other uncertain parameters typically encountered in short-term optimization problems such as demand, market-clearing prices, or renewable generation, are typically influenced by various covariates, classical two-stage stochastic optimization frameworks largely use a one-size-fits-all representation of uncertainty. In this dissertation, we address these shortcomings by working out alternative optimization frameworks under uncertainty. Two of the publications presented herein discuss a distributionally robust optimization (DRO) framework for the UC problem. A major advantage of DRO frameworks is that it immunizes the UC decisions against using an inaccurate probability distribution for net load. The framework we propose relies on forming the nominal distribution using directly real-world data in conjunction with the k-means clustering algorithm and different distance metrics. Subsequently, an ambiguity set of probability distributions is constructed around the nominal distribution using the Kullback- Leibler divergence. In two publications, we demonstrate the application of this framework for different problems (one for the UC problem under uncertain net load, the other for a price-taker microgrid under the uncertainty in both net load and market-clearing prices). The results provide valuable insights into the influence of degree of conservatism and the dataset size on the in-sample and out-of-sample performances. Motivated by the actionable insights provided by covariates, we further discuss in three publications of this dissertation contextual stochastic optimization (CSO) approaches to the UC problem. In these publications, we leverage directly data in conjunction with different machine learning algorithms to prescribe UC decisions by taking explicit account of covariate observations. The UC frameworks proposed in these publications present a significant contribution to the state of the art. These publications are among the first to take a CSO approach to UC, and they present novel methods to construct prescriptions using three ML algorithms, which have to date not been used in any CSO framework. These studies further propose important innovations that help improve decision quality, which are empirically borne out by several numerical studies conducted using real-world data. In addition to the above risk-neutral decision-making approaches, we further propose a risk-averse self-scheduling framework for storage resources bidding in decentralized electricity markets under uncertain market-clearing prices. Among the many contributions of this study is a novel explanation for the seemingly nonintuitive storage dispatch decisions encountered in practice, wherein storage resources fail to discharge at markedly low prices or discharge at significantly high prices. We lay out how risk can serve as an underlying factor for such decisions, a concomitant of which is that such decisions could well be rational and persist—signifying that storage resources may indeed forgo price spikes and not dispatch during periods of scarcity, during which the system is in dire need. In another study, we approach the short-term scheduling problem from a sustainability perspective, and we discuss a UC approach tailored to microgrids, which takes explicit account of greenhouse gas emission amounts and its monetary implications. The results bring home how different carbon tax rate values can influence the scheduling decisions of a microgrid. In the last two publications of this dissertation, we present decision-support tools that seek to aid SOs in coping with the several challenges brought by the deepening penetration of renewables. One such tool focuses on forecasting the start time and magnitude of net load ramps, so that SOs can capitalize on the forecasts to ensure that the system has sufficient rampable capacity to meet steep ramping needs that may eventuate. In the last publication presented in this dissertation, we discuss a prediction model that seeks to exploit the underlying factors that influence the frequency response characteristic of a system so as to forecast the power system frequency in the next minute. This decision-support tool is geared toward imparting extra time to SOs in the event of a large frequency excursion, during which SOs typically race against the time to bring the frequency toward its nominal value. In all nine publications laid out in this cumulative dissertation, we use real-world data to demonstrate the application of the proposed decision-making frameworks and decision-support tools, and we compare our frameworks and tools with benchmark methods proposed in the literature or used in practice based on several evaluation metrics. Extensive simulation results and comparative assessments set out in each publication serve to make evident the effectiveness of each proposed framework and tool.","In dieser Dissertation entwickeln wir Entscheidungs-Tools und -Frameworks, die Netzbetreibern dabei helfen sollen, einen ökonomisch effizienten und zuverlässigen Netzbetrieb trotz Unsicherheiten sicherzustellen. Sie umfasst neun Publikationen, in denen jeweils ein Tool oder ein Optimierungs-Framework zur Entscheidungsunterstützung unter Unsicherheit vorgestellt wird, mit dem Ziel, Netzbetreiber dabei zu unterstützen, einen verlässlichen Systembetrieb rund um die Uhr zu ermöglichen. Mit dem steigenden Anteil erneuerbarer Energien im Energiemix nimmt die Unsicherheit und Schwankungsbreite der Nettolast - definiert als die Systemlast abzüglich erneuerbarer Erzeugung - deutlich zu. Dies zwingt Netzbetreiber dazu, diese Unsicherheit und Volatilität bei der Planung des kurzfristigen Betriebs ihrer Energiesysteme explizit in Betracht zu ziehen. Um dies zu bewältigen, adressieren die Systembetreiber zwei zentrale Herausforderungen, welche die Grundpfeiler jeder Optimierungsstudie in Energiesystemen darstellen: Die Einsatzplanung von Kraftwerken (unit commitment) und die ökonomische Lastverteilung (economic dispatch). Diese Probleme spielen nicht nur bei vertikal integrierten Versorgungsunternehmen eine zentrale Rolle, sondern bilden auch die Grundlage für Optimierungsprobleme innerhalb des Energiemarktes, die zur Abwicklung der Day-Ahead- und Echtzeit-Märkte auf der ganzen Welt eingesetzt werden. In Anbetracht der Tatsache, dass allein in den USA Versorgungsunternehmen diese Optimierungsprobleme lösen, um einen Strommarkt mit einem jährlichen Volumen von über 400 Milliarden Dollar abzuwickeln [1], könnten Verbesserungen der Entscheidungsqualität der Einsatzplanung jedes Jahr Einsparungen in Milliardenhöhe ermöglichen. Für Entscheidungen zur Einsatzplanung von Kraftwerken unter Berücksichtigung unsicherer Nettolast setzen die meisten bestehenden Studien in der Literatur auf zweistufige stochastische Optimierungs-Frameworks. Für die Darstellung der Wahrscheinlichkeitsverteilung der Nettolast, verlangen diese die Festlegung auf eine einzelne, vordefinierte Verteilung. Da die tatsächlich zugrundeliegende Verteilung der Nettolast in der Praxis jedoch unbekannt ist, sind solche Studien in der Regel bei der Vorhersage bisher unbekannter Fälle mit einer schlechten Leistung außerhalb der Stichprobe behaftet. Zudem berücksichtigen diese Ansätze keine Informationen zu Kovariablen, die sich auf wichtige Kontextinformationen beziehen und einen erheblichen Einfluss auf die Ausprägung unsicherer Parameter, wie beispielsweise Wochentag, Temperatur oder verzögerte Beobachtungen der Nettolast, ausüben. Obwohl die Nettolast und andere typischerweise bei kurzfristigen Optimierungsproblemen auftretende unsichere Parameter—wie Nachfrage, Marktpreise oder erneuerbare Erzeugung—von verschiedenen Kovariablen beeinflusst werden, nutzen klassische zweistufige stochastische Optimierungs-Frameworks überwiegend pauschale Beschreibungen der Unsicherheit. In dieser Dissertation adressieren wir diese Mängel, indem alternative Optimierungskonzepte unter Unsicherheit erarbeitet werden. Zwei der hier vorgestellten Publikationen diskutieren ein verteilungsrobustes Optimierungs-Framework (distributionally robust optimization) für die Einsatzplanung von Kraftwerken. Ein großer Vorteil von verteilungsrobusten Optimierungs-Frameworks besteht darin, Entscheidungen zur Einsatzplanung von Kraftwerken vor einer fehlerhaften Annahme über die zugrundeliegende Verteilung der Netzlast zu schützen. Das von uns vorgeschlagene Framework basiert auf der Bildung einer nominalen Verteilung unter direkter Verwendung realer Daten, wobei der k-Means-Clustering-Algorithmus und verschiedene Distanzmaße zum Einsatz kommen. Darüber hinaus konstruieren wir mit Hilfe der Kullback-Leibler-Divergenz eine Mehrdeutigkeitsmenge (ambiguity set), die die nominale Verteilung umfasst. In zwei Veröffentlichungen demonstrieren wir die Anwendung dieses Frameworks auf verschiedene Probleme: Die erste betreffend der Einsatzplanung von Kraftwerken unter unsicherer Nettolast, während die zweite ein Microgrid thematisiert, das sowohl bei der Nettolast als auch bei den Markträumungspreisen Unsicherheiten aufweist. Die Ergebnisse liefern wichtige Erkenntnisse darüber, wie der Grad der Konservativität und die Größe des Datensatzes die Qualität der Ergebnisse sowohl innerhalb als auch außerhalb der Stichprobe beeinflussen. Basierend auf den wertvollen Erkenntnissen, die von Kovariablen geliefert werden, diskutieren wir in drei Veröffentlichungen dieser Dissertation kontextuelle stochastische Optimierungsansätze (contextual stochastic optimization) für die Einsatzplanung von Kraftwerken. Dabei nutzen wir Daten in Verbindung mit verschiedenen Maschinellen-Lern-Algorithmen (ML), um die Entscheidungen über die Einsatzplanung unter expliziter Berücksichtigung von Kovariablen zu treffen. Die in diesen Publikationen vorgeschlagenen Frameworks zur Einsatzplanung stellen einen signifikanten Beitrag zum aktuellen Stand der Technik dar. Sie gehören zu den ersten Veröffentlichungen, die hierfür einen kontextuellen stochastischen Optimierungsansatz verfolgen und präsentieren neuartige Methoden zur Erstellung von Anweisungen mithilfe von drei ML-Algorithmen, die bisher in keinem kontextuelle stochastische Optimierungsansätze verwendet wurden. Darüber hinaus stellen diese Publikationen wichtige neue Ansätze vor, die dazu beitragen, die Entscheidungsqualität zu verbessern. Dies wird durch mehrere numerischen Studien mit realen Daten empirisch belegt. Zusätzlich zu den oben genannten risikoneutralen Entscheidungsansätzen schlagen wir außerdem ein risikoaverses Framework für die Selbstplanung von Speicherressourcen vor, die auf dezentralen Strommärkten auf - mit Unsicherheit behaftete -Markträumungspreise bieten. Einer der vielen Beiträge dieser Studie ist eine innovative Begründung für scheinbar nicht-intuitive Dispatch-Entscheidungen, bei denen Speicherressourcen bei deutlich niedrigen Preisen nicht entladen oder bei signifikant hohen Preisen entladen werden. Wir zeigen auf, wie Risiken als zugrundeliegender Faktor für solche Entscheidungen dienen können, was damit einhergeht, dass solche Entscheidungen durchaus rational sein und bestehen können. Das deutet darauf hin, dass Speicherressourcen in der Tat auf Preisspitzen verzichten und in Phasen des Versorgungsengpasses, in denen das System sie dringend benötigt, nicht entladen. In einer weiteren Studie nähern wir uns dem Problem der kurzfristigen Planung aus einer Nachhaltigkeitsperspektive und erörtern einen Ansatz für Microgrids, der die Treibhausgasemissionen und ihre monetären Auswirkungen explizit berücksichtigt. Die Ergebnisse verdeutlichen, wie unterschiedliche CO2-Steuersätze die Planungsentscheidungen eines Microgrids beeinflussen können. In den letzten beiden Veröffentlichungen dieser Dissertation präsentieren wir Tools zur Entscheidungsunterstützung, die Netzbetreiber bei der Bewältigung verschiedener Herausforderungen unterstützen sollen, die sich aus der zunehmenden Nutzung erneuerbarer Energien ergeben. Eines dieser Tools konzentriert sich auf die Vorhersage von Startzeit und Umfang der Nettolastrampen, um Netzbetreibern dabei zu helfen, diese Vorhersagen optimal zu nutzen. So wird sichergestellt, dass das System über ausreichende Rampenkapazität verfügt, um eventuell auftretende steile Rampenanforderungen zu bewältigen. In der abschließenden Veröffentlichung dieser Dissertation präsentieren wir ein Prognosemodell, welches unter Ausnutzung der Faktoren, die die Frequenzgangcharakteristik eines Systems beeinflussen, die Netzfrequenz in der nächsten Minute vorhersagen kann. Dieses Tool zur Entscheidungsunterstützung zielt darauf ab, Netzbetreibern im Falle einer großen Frequenzabweichung zusätzliche Zeit zu verschaffen, um dem Konkurrieren mit der Zeit während der Rückführung der Frequenz auf ihren Nennwert entgegenzuwirken. In allen neun Publikationen dieser kumulativen Dissertation verwenden wir Daten aus der realen Welt, um die Anwendung der vorgeschlagenen Entscheidungs-Frameworks und Tools zur Entscheidungsunterstützung zu demonstrieren. Außerdem vergleichen wir unsere Frameworks und Tools mit in der Literatur vorgeschlagenen oder in der Praxis verwendeten Benchmark-Methoden auf Grundlage verschiedener Bewertungsmetriken. Ausführliche Simulationsergebnisse und vergleichende Bewertungen, die in jeder Veröffentlichung dargelegt werden, dienen dazu, die Effektivität jedes vorgeschlagenen Frameworks und Tools zu verdeutlichen."]},{"key":"dc:title","label":"Title","values":["Data-driven decision-making under uncertainty in power systems"]}]}],"canonical_facts":{"dc:contributor.advisor":["Albayrak, Sahin"],"dc:creator":["Yurdakul, Ogün"],"dc:date.accessioned":["2023-12-21T10:47:46Z"],"dc:date.available":["2023-12-21T10:47:46Z"],"dc:date.issued":["2023"],"dc:description.abstract":["In this dissertation, we construct decision-making frameworks and decision-support tools that seek to aid power system operators (SOs) in delivering an economical and reliable power system operation under uncertainty. The dissertation comprises nine publications, each of which lays out an optimization framework under uncertainty or a decision-support tool, on which SOs can capitalize in ensuring a reliable power system operation around the clock. The deepening penetration of renewables greatly exacerbates the uncertainty and variability of net load, that is, system load minus renewable generation. In scheduling the short-term operation of power systems, SOs must explicitly take into account the uncertainty and variability in net load. To that end, SOs solve two key problems that are at the cornerstone of the short- term scheduling of power systems: unit commitment (UC) and economic dispatch. These problems do not only play a central role in vertically integrated utilities, but also form the basis of market optimization problems employed to clear the day-ahead and real-time markets across the globe. Given that in the U.S. alone SOs solve these problems to clear over a $400 billion electricity market annually [1], improvements in UC decision quality could unlock billions of dollars’ worth of savings every year. To take UC decisions under uncertain net load, most existing studies in the literature employ a two-stage stochastic optimization framework, which requires committing to a single, pre-specified distribution to represent the probability distribution of net load. However, since the true, underlying distribution of net load cannot be known in practice, such studies are typically plagued by a poor out-of-sample performance. Further, these studies fail to draw on information on covariates, which refer to contextual information (such as the day of the week, temperature, or lagged observations of net load) that may directly influence the materialized net load levels. Although net load, or other uncertain parameters typically encountered in short-term optimization problems such as demand, market-clearing prices, or renewable generation, are typically influenced by various covariates, classical two-stage stochastic optimization frameworks largely use a one-size-fits-all representation of uncertainty. In this dissertation, we address these shortcomings by working out alternative optimization frameworks under uncertainty. Two of the publications presented herein discuss a distributionally robust optimization (DRO) framework for the UC problem. A major advantage of DRO frameworks is that it immunizes the UC decisions against using an inaccurate probability distribution for net load. The framework we propose relies on forming the nominal distribution using directly real-world data in conjunction with the k-means clustering algorithm and different distance metrics. Subsequently, an ambiguity set of probability distributions is constructed around the nominal distribution using the Kullback- Leibler divergence. In two publications, we demonstrate the application of this framework for different problems (one for the UC problem under uncertain net load, the other for a price-taker microgrid under the uncertainty in both net load and market-clearing prices). The results provide valuable insights into the influence of degree of conservatism and the dataset size on the in-sample and out-of-sample performances. Motivated by the actionable insights provided by covariates, we further discuss in three publications of this dissertation contextual stochastic optimization (CSO) approaches to the UC problem. In these publications, we leverage directly data in conjunction with different machine learning algorithms to prescribe UC decisions by taking explicit account of covariate observations. The UC frameworks proposed in these publications present a significant contribution to the state of the art. These publications are among the first to take a CSO approach to UC, and they present novel methods to construct prescriptions using three ML algorithms, which have to date not been used in any CSO framework. These studies further propose important innovations that help improve decision quality, which are empirically borne out by several numerical studies conducted using real-world data. In addition to the above risk-neutral decision-making approaches, we further propose a risk-averse self-scheduling framework for storage resources bidding in decentralized electricity markets under uncertain market-clearing prices. Among the many contributions of this study is a novel explanation for the seemingly nonintuitive storage dispatch decisions encountered in practice, wherein storage resources fail to discharge at markedly low prices or discharge at significantly high prices. We lay out how risk can serve as an underlying factor for such decisions, a concomitant of which is that such decisions could well be rational and persist—signifying that storage resources may indeed forgo price spikes and not dispatch during periods of scarcity, during which the system is in dire need. In another study, we approach the short-term scheduling problem from a sustainability perspective, and we discuss a UC approach tailored to microgrids, which takes explicit account of greenhouse gas emission amounts and its monetary implications. The results bring home how different carbon tax rate values can influence the scheduling decisions of a microgrid. In the last two publications of this dissertation, we present decision-support tools that seek to aid SOs in coping with the several challenges brought by the deepening penetration of renewables. One such tool focuses on forecasting the start time and magnitude of net load ramps, so that SOs can capitalize on the forecasts to ensure that the system has sufficient rampable capacity to meet steep ramping needs that may eventuate. In the last publication presented in this dissertation, we discuss a prediction model that seeks to exploit the underlying factors that influence the frequency response characteristic of a system so as to forecast the power system frequency in the next minute. This decision-support tool is geared toward imparting extra time to SOs in the event of a large frequency excursion, during which SOs typically race against the time to bring the frequency toward its nominal value. In all nine publications laid out in this cumulative dissertation, we use real-world data to demonstrate the application of the proposed decision-making frameworks and decision-support tools, and we compare our frameworks and tools with benchmark methods proposed in the literature or used in practice based on several evaluation metrics. Extensive simulation results and comparative assessments set out in each publication serve to make evident the effectiveness of each proposed framework and tool.","In dieser Dissertation entwickeln wir Entscheidungs-Tools und -Frameworks, die Netzbetreibern dabei helfen sollen, einen ökonomisch effizienten und zuverlässigen Netzbetrieb trotz Unsicherheiten sicherzustellen. Sie umfasst neun Publikationen, in denen jeweils ein Tool oder ein Optimierungs-Framework zur Entscheidungsunterstützung unter Unsicherheit vorgestellt wird, mit dem Ziel, Netzbetreiber dabei zu unterstützen, einen verlässlichen Systembetrieb rund um die Uhr zu ermöglichen. Mit dem steigenden Anteil erneuerbarer Energien im Energiemix nimmt die Unsicherheit und Schwankungsbreite der Nettolast - definiert als die Systemlast abzüglich erneuerbarer Erzeugung - deutlich zu. Dies zwingt Netzbetreiber dazu, diese Unsicherheit und Volatilität bei der Planung des kurzfristigen Betriebs ihrer Energiesysteme explizit in Betracht zu ziehen. Um dies zu bewältigen, adressieren die Systembetreiber zwei zentrale Herausforderungen, welche die Grundpfeiler jeder Optimierungsstudie in Energiesystemen darstellen: Die Einsatzplanung von Kraftwerken (unit commitment) und die ökonomische Lastverteilung (economic dispatch). Diese Probleme spielen nicht nur bei vertikal integrierten Versorgungsunternehmen eine zentrale Rolle, sondern bilden auch die Grundlage für Optimierungsprobleme innerhalb des Energiemarktes, die zur Abwicklung der Day-Ahead- und Echtzeit-Märkte auf der ganzen Welt eingesetzt werden. In Anbetracht der Tatsache, dass allein in den USA Versorgungsunternehmen diese Optimierungsprobleme lösen, um einen Strommarkt mit einem jährlichen Volumen von über 400 Milliarden Dollar abzuwickeln [1], könnten Verbesserungen der Entscheidungsqualität der Einsatzplanung jedes Jahr Einsparungen in Milliardenhöhe ermöglichen. Für Entscheidungen zur Einsatzplanung von Kraftwerken unter Berücksichtigung unsicherer Nettolast setzen die meisten bestehenden Studien in der Literatur auf zweistufige stochastische Optimierungs-Frameworks. Für die Darstellung der Wahrscheinlichkeitsverteilung der Nettolast, verlangen diese die Festlegung auf eine einzelne, vordefinierte Verteilung. Da die tatsächlich zugrundeliegende Verteilung der Nettolast in der Praxis jedoch unbekannt ist, sind solche Studien in der Regel bei der Vorhersage bisher unbekannter Fälle mit einer schlechten Leistung außerhalb der Stichprobe behaftet. Zudem berücksichtigen diese Ansätze keine Informationen zu Kovariablen, die sich auf wichtige Kontextinformationen beziehen und einen erheblichen Einfluss auf die Ausprägung unsicherer Parameter, wie beispielsweise Wochentag, Temperatur oder verzögerte Beobachtungen der Nettolast, ausüben. Obwohl die Nettolast und andere typischerweise bei kurzfristigen Optimierungsproblemen auftretende unsichere Parameter—wie Nachfrage, Marktpreise oder erneuerbare Erzeugung—von verschiedenen Kovariablen beeinflusst werden, nutzen klassische zweistufige stochastische Optimierungs-Frameworks überwiegend pauschale Beschreibungen der Unsicherheit. In dieser Dissertation adressieren wir diese Mängel, indem alternative Optimierungskonzepte unter Unsicherheit erarbeitet werden. Zwei der hier vorgestellten Publikationen diskutieren ein verteilungsrobustes Optimierungs-Framework (distributionally robust optimization) für die Einsatzplanung von Kraftwerken. Ein großer Vorteil von verteilungsrobusten Optimierungs-Frameworks besteht darin, Entscheidungen zur Einsatzplanung von Kraftwerken vor einer fehlerhaften Annahme über die zugrundeliegende Verteilung der Netzlast zu schützen. Das von uns vorgeschlagene Framework basiert auf der Bildung einer nominalen Verteilung unter direkter Verwendung realer Daten, wobei der k-Means-Clustering-Algorithmus und verschiedene Distanzmaße zum Einsatz kommen. Darüber hinaus konstruieren wir mit Hilfe der Kullback-Leibler-Divergenz eine Mehrdeutigkeitsmenge (ambiguity set), die die nominale Verteilung umfasst. In zwei Veröffentlichungen demonstrieren wir die Anwendung dieses Frameworks auf verschiedene Probleme: Die erste betreffend der Einsatzplanung von Kraftwerken unter unsicherer Nettolast, während die zweite ein Microgrid thematisiert, das sowohl bei der Nettolast als auch bei den Markträumungspreisen Unsicherheiten aufweist. Die Ergebnisse liefern wichtige Erkenntnisse darüber, wie der Grad der Konservativität und die Größe des Datensatzes die Qualität der Ergebnisse sowohl innerhalb als auch außerhalb der Stichprobe beeinflussen. Basierend auf den wertvollen Erkenntnissen, die von Kovariablen geliefert werden, diskutieren wir in drei Veröffentlichungen dieser Dissertation kontextuelle stochastische Optimierungsansätze (contextual stochastic optimization) für die Einsatzplanung von Kraftwerken. Dabei nutzen wir Daten in Verbindung mit verschiedenen Maschinellen-Lern-Algorithmen (ML), um die Entscheidungen über die Einsatzplanung unter expliziter Berücksichtigung von Kovariablen zu treffen. Die in diesen Publikationen vorgeschlagenen Frameworks zur Einsatzplanung stellen einen signifikanten Beitrag zum aktuellen Stand der Technik dar. Sie gehören zu den ersten Veröffentlichungen, die hierfür einen kontextuellen stochastischen Optimierungsansatz verfolgen und präsentieren neuartige Methoden zur Erstellung von Anweisungen mithilfe von drei ML-Algorithmen, die bisher in keinem kontextuelle stochastische Optimierungsansätze verwendet wurden. Darüber hinaus stellen diese Publikationen wichtige neue Ansätze vor, die dazu beitragen, die Entscheidungsqualität zu verbessern. Dies wird durch mehrere numerischen Studien mit realen Daten empirisch belegt. Zusätzlich zu den oben genannten risikoneutralen Entscheidungsansätzen schlagen wir außerdem ein risikoaverses Framework für die Selbstplanung von Speicherressourcen vor, die auf dezentralen Strommärkten auf - mit Unsicherheit behaftete -Markträumungspreise bieten. Einer der vielen Beiträge dieser Studie ist eine innovative Begründung für scheinbar nicht-intuitive Dispatch-Entscheidungen, bei denen Speicherressourcen bei deutlich niedrigen Preisen nicht entladen oder bei signifikant hohen Preisen entladen werden. Wir zeigen auf, wie Risiken als zugrundeliegender Faktor für solche Entscheidungen dienen können, was damit einhergeht, dass solche Entscheidungen durchaus rational sein und bestehen können. Das deutet darauf hin, dass Speicherressourcen in der Tat auf Preisspitzen verzichten und in Phasen des Versorgungsengpasses, in denen das System sie dringend benötigt, nicht entladen. In einer weiteren Studie nähern wir uns dem Problem der kurzfristigen Planung aus einer Nachhaltigkeitsperspektive und erörtern einen Ansatz für Microgrids, der die Treibhausgasemissionen und ihre monetären Auswirkungen explizit berücksichtigt. Die Ergebnisse verdeutlichen, wie unterschiedliche CO2-Steuersätze die Planungsentscheidungen eines Microgrids beeinflussen können. In den letzten beiden Veröffentlichungen dieser Dissertation präsentieren wir Tools zur Entscheidungsunterstützung, die Netzbetreiber bei der Bewältigung verschiedener Herausforderungen unterstützen sollen, die sich aus der zunehmenden Nutzung erneuerbarer Energien ergeben. Eines dieser Tools konzentriert sich auf die Vorhersage von Startzeit und Umfang der Nettolastrampen, um Netzbetreibern dabei zu helfen, diese Vorhersagen optimal zu nutzen. So wird sichergestellt, dass das System über ausreichende Rampenkapazität verfügt, um eventuell auftretende steile Rampenanforderungen zu bewältigen. In der abschließenden Veröffentlichung dieser Dissertation präsentieren wir ein Prognosemodell, welches unter Ausnutzung der Faktoren, die die Frequenzgangcharakteristik eines Systems beeinflussen, die Netzfrequenz in der nächsten Minute vorhersagen kann. Dieses Tool zur Entscheidungsunterstützung zielt darauf ab, Netzbetreibern im Falle einer großen Frequenzabweichung zusätzliche Zeit zu verschaffen, um dem Konkurrieren mit der Zeit während der Rückführung der Frequenz auf ihren Nennwert entgegenzuwirken. In allen neun Publikationen dieser kumulativen Dissertation verwenden wir Daten aus der realen Welt, um die Anwendung der vorgeschlagenen Entscheidungs-Frameworks und Tools zur Entscheidungsunterstützung zu demonstrieren. Außerdem vergleichen wir unsere Frameworks und Tools mit in der Literatur vorgeschlagenen oder in der Praxis verwendeten Benchmark-Methoden auf Grundlage verschiedener Bewertungsmetriken. Ausführliche Simulationsergebnisse und vergleichende Bewertungen, die in jeder Veröffentlichung dargelegt werden, dienen dazu, die Effektivität jedes vorgeschlagenen Frameworks und Tools zu verdeutlichen."],"dc:identifier.uri":["https://depositonce.tu-berlin.de/handle/11303/20745","https://doi.org/10.14279/depositonce-19543"],"dc:language.iso":["en"],"dc:rights.uri":["http://rightsstatements.org/vocab/InC/1.0/"],"dc:title":["Data-driven decision-making under uncertainty in power systems"],"dc:type":["Doctoral Thesis"]},"updated_at":"2026-07-27T21:28:49Z"}