[发明专利]基于muzero和深度强化学习的电力调度方法、装置及存储介质

说明书

本发明公开了一种基于muzero和深度强化学习的电力调度方法、装置及存储介质。该方法通过从电力系统获取实时电力数据，将所述实时电力数据输入至所述基于muzero的深度强化学习模型，输出各分布式电力资源的功率，以及所述电力系统与上级电网的联络功率；所述基于muzero的深度强化学习模型根据电力系统环境模型训练得到，所述电力系统环境模型用于向所述基于muzero的深度强化学习模型反馈决策奖励；根据所述各分布式电力资源的功率对所述电力系统的各分布式电力资源进行调度，并使所述电力系统达到所述联络功率的要求。本发明技术方案提高了电力系统对分布式电力资源的调度效率，减少了电力资源的浪费。

技术领域

本发明涉及电力调度技术领域，尤其涉及一种基于muzero和深度强化学习的电力调度方法、装置及存储介质。

背景技术

储能作为满足节能减排需要与适配可再生能源消纳的设备，其规划与运行将引入时段耦合约束，储能状态转移的建模与实时出力的求解也不得不考虑相邻时段的发电与荷电状态，因此以储能为主要消纳载体的方式使得新能源消纳业务变成复杂的多阶段优化决策问题。问题的精准建模与求解难度大，同时要求决策快速并尽可能地消纳风光，以满足实时调度需求，这对求解问题的模型提出了很高的要求。

传统决策方案如随机规划、鲁棒优化等，在降低系统运行成本与考虑极端恶劣场景下的可行决策方面具有一定的优势，然而上述传统方法在解决可再生能源以及电负荷导致的随机多场景问题时，存在计算量大、计算精度低、决策方案过于保守等缺点。因此，为解决复杂运行调度问题并满足可再生能源的消纳要求，研究人员急需引入新的决策方法。

随着人工智能技术兴起和发展，强化学习(Reinforcement Learning)作为解决序贯决策问题的重要技术，通过与环境交互试错，在持续学习中更新价值评判和策略选择，成为解决序贯决策问题行之有效的技术，特别是深度神经网络与强化学习结合后的深度强化学习模型(Deep Reinforcement Learning，DRL)，具有更好的自适应学习能力和解决非凸非线性问题的优化决策能力，其为处理复杂电力系统运行调度问题提供了新的思路。然而目前许多仅基于单一的神经网络的DRL方法在提取系统状态与输出策略方面存在精度低等不足，对模型性能也要求较高，难以准确把握包括源荷波动性在内的系统不确定性状态，难以精准全消纳风光等新能源。

发明内容

本发明提供一种基于muzero和深度强化学习的电力调度方法、装置及存储介质，提高了电力系统对分布式电力资源的调度效率，减少了电力资源的浪费。

本发明一实施例提供一种基于muzero和深度强化学习的电力调度方法，包括以下步骤：

从电力系统获取实时电力数据，将所述实时电力数据输入至所述基于muzero的深度强化学习模型，输出各分布式电力资源的功率，以及所述电力系统与上级电网的联络功率；所述基于muzero的深度强化学习模型根据电力系统环境模型训练得到，所述电力系统环境模型用于向所述基于muzero的深度强化学习模型反馈决策奖励；

根据所述各分布式电力资源的功率对所述电力系统的各分布式电力资源进行调度，并使所述电力系统达到所述联络功率的要求。

进一步的，建立所述电力系统环境模型具体为：根据电力系统的全时段运行成本、上级电网联络效益和碳排放成本得到所述电力系统环境模型的目标函数，并使所述电力系统环境模型满足电力系统安全运行的约束条件。

进一步的，根据以下步骤对所述基于muzero的深度强化学习模型进行训练：

将所述电力系统的历史电力数据输入至所述基于muzero的深度强化学习模型，所述基于muzero的深度强化学习模型决策出各分布式电力资源的功率，以及所述电力系统与上级电网的联络功率；