[发明专利]一种基于强化学习的电网偶发故障安全调控策略生成方法

权利要求书

1.一种基于强化学习的电网偶发故障安全调控策略生成方法，其特征在于，所述方法包括：

步骤S1、搭建实际电网的半实物仿真模型，所述半实物仿真模型包括物理空间的实物仿真平台、虚拟空间的数字仿真平台以及物理空间和虚拟空间之间的数据和信息交互接口；

步骤S2、利用实际电网的历史调控数据，从中提取出观测空间与调控行为的特征向量，分别作为有监督学习的输入与输出，即学习专家系统的先验知识，进而生成用神经网络表示的电网调控策略；

步骤S3、基于电网脆弱性与威胁风险，人为生成一系列电网安全威胁事件，以通过增加扰动的方式，对电网历史运行数据进行拓展，并以电网的安全性与经济性作为评价指标，结合深度强化学习方法优化电网调控策略，进一步增强电网调控策略的鲁棒性；

步骤S4、当实物仿真平台面临偶发故障时，利用电网调控策略生成相应的调控行为，并对调控行为在数字仿真平台中进行预仿真，评估调控行为可行性，判断是否满足电网安全约束，若满足，则调控行为通过评估，可以执行；否则返回步骤S3，将发生的偶发故障加入到电网调控策略的训练过程中，重新生成电网调控策略，从而实现电网调控策略的迭代进化；

步骤S3中，人为生成电网一系列安全威胁，并深度强化学习方法优化电网调控策略，具体包括以下步骤：

步骤S301、基于电网脆弱性，通过连锁故障模型，计算得到电网中容易引发连锁故障的前10条线路或线路组合{l₁，l₂，……，l₁₀}，以及归一化后的故障严重性因子{σ₁，σ₂，……，σ₁₀}；

步骤S302、基于威胁风险，在电网的运行过程中，实时监测脆弱线路的潮流比{r₁，r₂，……，r₁₀}，将潮流比与严重性因子的补数相除并依归一化的概率随机生成电网安全威胁事件，即故障严重性越高且潮流比越高的线路更易受攻击；

步骤S303、选择与步骤S2中相同的观测空间与动作空间，采用强化学习的A3C方法，使用电网的安全性与经济性作为强化学习的奖励Reward，具体为其中r_i表示第i条线路的潮流比，Reward₂＝-2×E_redispatch×p，其中E_redispatch表示调整的发电机出力，p表示电价，将Reward₁与Reward₂做标准化处理并相加，再乘以电网平稳运行的时长，得到最终的Reward＝(Reward₁+Reward₂)*t；Reward₁为电网安全性指标，当线路潮流比较小时，Reward₁较大，Reward₂为电网经济性指标，当发电电价较小时，Reward₂较大，t为电网平稳运行的时长；

步骤S304、当生成的安全威胁来临时，通过强化学习的预仿真功能，选取动作空间中Reward最大的4个动作进行优化组合，然后根据Reward更新调控策略，最终获得处理安全威胁的最佳策略。