[发明专利]一种基于强化学习的电网偶发故障安全调控策略生成方法

说明书

本发明公开了一种基于强化学习的电网偶发故障安全调控策略生成方法，包括搭建实际电网的半实物仿真模型；利用实际电网的大量历史运行数据，生成用神经网络表示的电网调控策略，并通过人为生成安全威胁对历史数据进行补充，利用强化学习优化电网调控策略；针对实际电网发生的偶发故障，数字仿真平台及时感知，进而使用训练好的电网调控策略，生成调控行为。本发明将复杂的电网安全调控问题转化为用神经网络表示电网调控策略，当新的安全威胁发生时，只需要在先前训练好的电网调控策略的基础上，使用强化学习迭代优化调控策略，而不用重新构建训练集，避免重复计算，在安全性能和时间开销上取得较好的平衡，可有效处理电网面临的偶发安全威胁。

技术领域

本发明涉及计算机强化学习和电力系统调度自动化技术领域，尤其涉及一种基于强化学习的电网偶发故障安全调控策略生成方法。

背景技术

电网调控是为了保证电网安全稳定运行、对外可靠供电、各类电力生产工作有序进行而采用的一种有效的管理手段，是智能电网运行的神经中枢，运维中心通过对省级及以上智能电网调控系统运行的基本数据集中监视，实现对各地系统的远程画面调阅和运行维护，快速解决系统异常和故障，及时发现系统存在的隐患，为智能电网调控系统稳定运行提供技术支持。

目前的电力调控存在四个问题：

(1)通过人类经验，离线制定运行方式，规则较为粗放，限额保守；

(2)考虑运行方式不全面，无法及时识别脆弱点，一些极端方式下不安全；

(3)可再生能源大规模接入和电力市场环境下，运行边界的不确定性增强；

(4)新一代电网安全机理越来越复杂，运方分析难度越来越大，大停电风险事故增加。

因此，可以应用当下热门的人工智能技术，通过智能化使运方计算考虑方式更全面、更精益、更安全，提高对新一代复杂电网安全经济运行的驾驭能力。

以上信息作为背景信息给出只是为了辅助理解本公开，并没有确定或者承认任意上述内容是否可用作相对于本公开的现有技术。

发明内容

本发明提供一种基于强化学习的电网偶发故障安全调控策略生成方法，其可以在安全性能和时间开销上取得一定的平衡，并且在大规模电网安全调控中能够取得性能和时间开销双方面的优势；在有新的安全威胁发生时，利用强化学习进行调控策略迭代优化，也能避免重复训练之前的运行数据，以解决上述技术问题。

为实现上述目的，本发明提供以下的技术方案：

一种基于强化学习的电网偶发故障安全调控策略生成方法，所述方法包括：

步骤S1、搭建实际电网的半实物仿真模型，所述半实物仿真模型包括物理空间的实物仿真平台、虚拟空间的数字仿真平台以及物理空间和虚拟空间之间的数据和信息交互接口；数字仿真平台可以通过数据交互接口对实物仿真平台进行实时感知，并能进行潮流计算，拓扑更改，调整发电机出力等操作，从而刻画实际电网的调控行为；

步骤S2、利用实际电网的大量历史调控数据，从中提取出观测空间与调控行为的特征向量，分别作为有监督学习的输入与输出，即学习专家系统的先验知识，进而生成用神经网络表示的电网调控策略；

步骤S3、基于电网脆弱性与威胁风险，人为生成一系列电网安全威胁事件，如断路器跳闸、线路遭受攻击等，以通过增加扰动的方式，对电网历史运行数据进行拓展，并以电网的安全性与经济性作为评价指标，结合深度强化学习方法优化电网调控策略，进一步增强电网调控策略的鲁棒性；

步骤S4、当实物仿真平台面临偶发故障时，利用电网调控策略生成相应的调控行为，并对调控行为在数字仿真平台中进行预仿真，评估调控行为可行性，判断是否满足电网安全约束，若满足，则调控行为通过评估，可以执行；否则返回步骤S3，将发生的偶发故障加入到电网调控策略的训练过程中，重新生成电网调控策略，从而实现电网调控策略的迭代进化。