title: Application of reinforcement learning algorithms in managing renewable energy systems
metadata.name: dc.contributor.advisor
metadata.value: Михеев Викентий Сергеевич
metadata.lang: ru_RU
metadata.name: dc.contributor.advisor
metadata.value: Miheev Vikentij Sergeevic
metadata.lang: en_GB
metadata.name: dc.contributor.author
metadata.value: Кудин Павел Сергеевич
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Kudin Pavel Sergeevic
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Петросян Ованес Леонович
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Petrosan Ovanes Leonovic
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2023-04-06T21:48:40Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2023-04-06T21:48:40Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2022
metadata.name: dc.identifier.other
metadata.value: 056669
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/39806
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: В данной работе рассматривается проблема оптимального планирования зарядки и разрядки аккумуляторной батареи, а также обмена с энергетическим рынком с целью минимизации финансовых затрат на электроэнергию при условиях соблюдения ограничений системы, емкости накопителя и соблюдения энергетического баланса. Исторические данные для задачи были предоставлены в открытый доступ инжиниринговой компанией Schneider Electric в рамках соревнования Power Laws, в котором участники продемонстрировали методы, основанные на детерминистических подходах. Это не позволяет применять их в рамках реальных индустриальных задач, а также имеет серьезный недостаток в виде накопления ошибок при наличии плохих прогнозных значений, содержащихся в исторических данных. Автором предлагается альтернативный подход к решению задачи, основанный на методах обучения с подкреплением (RL), главным преимуществом которых, помимо возможности работать с множеством неопределенностей и обучения на эмпирических моделях рассматриваемой проблемы, является умение агента адаптироваться в среде при изменении входных данных и переобучаться в случае возникновения непредвиденных ситуаций. В результате работы было произведено обучение 3 моделей обучения с подкреплением с использованием интерфейса Ray: проксимальная оптимизация политики (PPO), актор-критик асинхронного преимущества (A3C), градиент политики (PG). Автором была выполнена визуализация процесса обучения используемых алгоритмов, проведено сравнение итоговых затрат по сравнению с результатами смешанного целочисленного линейного программирования (MILP), сделаны соответствующие выводы касательно преимуществ обучения с подкреплением при решении задач планирования батареи в энергосистемах перед детерминистическими подходами.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: This paper considers the problem of optimal planning for charging and discharging the battery, as well as the exchange with the energy market in order to minimize the financial costs of electricity, subject to the limitations of the system, the storage device and the observance of the energy balance. Historical data for the problem was made publicly available by the engineering company Schneider Electric as part of the Power Laws competition, in which participants demonstrated methods based on deterministic approaches. This does not allow them to be applied to real industrial problems, and also has a serious drawback in the form of error accumulation in the presence of bad predictive values ​​contained in historical data. The author proposes an alternative approach to solving the problem, based on reinforcement learning (RL) methods, the main advantage of which, in addition to the ability to work with many uncertainties and learning from empirical models of the problem under consideration, is the ability of the agent to adapt to the environment when the input data changes and retrain in case of unforeseen situations. . As a result of the work, 3 reinforcement learning models were trained using the Ray interface: Proximal Policy Optimization (PPO), Asynchronous Advantage Actor-Critic (A3C), Policy Gradient (PG). The author visualized the learning process of the algorithms used, compared the total costs compared to the results of mixed integer linear programming (MILP), made appropriate conclusions regarding the advantages of reinforcement learning in solving battery planning problems in power systems over deterministic approaches.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: обучение с подкреплением
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: машинное обучение
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: энергоменеджмент
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: системы электроснабжения
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: возобновляемые источники энергии
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: планирование графика использования батареи
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: PPO
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: A3C
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: PG
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: интерфейс программирования приложений Ray
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: reinforcement learning
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: machine learning
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: energy management
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: energy systems
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: renewable energy
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: battery scheduling
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: PPO
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: A3C
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: PG
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: application programming interface Ray
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Application of reinforcement learning algorithms in managing renewable energy systems
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Применение алгоритмов обучения с подкреплением для управления системами электроснабжения с возобновляемыми источниками энергии
metadata.lang: ru_RU
resources.filename: diploma.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/39806/2/diploma.pdf
resources.format: Adobe PDF
resources.description: Article
resources.size: 2,16 MB
resources.filename: reviewSV_Otzyv__2_.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/39806/3/reviewSV_Otzyv__2_.pdf
resources.format: Adobe PDF
resources.description: ReviewSV
resources.size: 274,53 kB