[发明专利]基于深度强化学习的配电网负荷转供方法

说明书

本发明提供了一种基于深度强化学习的配电网负荷转供方法。该方法包括：配电网发生故障，开始负荷转供；将配电网的实时状态信息输入到智能体，计算出动作评价向量，基于动作评价向量根据动作策略选取相应的动作；智能体对配电网执行所述动作，对配电网的动作及动作后的状态进行评价,根据约束条件与目标函数计算奖励Reward，根据奖励Reward和结束规则确定Done的值，对智能体进行参数更新；依据结束标志位判断是否结束序列动作。本申请的方法利用深度强化学习来提高配电网的故障应急恢复能力与可靠性，基于深度强化学习的配电网负荷转供算法避免了故障时的大量运算与电网仿真迭代，提高了负荷转供的速度，使配电网具有更高的可靠性。

技术领域

本发明涉及配电网故障处理技术领域，尤其涉及一种基于深度强化学习的配电网负荷转供方法。

背景技术

随着我国国民经济的快速发展，尤其是第三产业的用电规模逐渐扩大，中小型用户与居民用电比例逐渐增加，电力负荷的结构出现了一些变化，配电网节点数大量增加，线路也越来越长，结构愈加复杂，故障的几率相应增大。因此配电网在发生故障后，可以通过调整网络开关的开合状态来切除线路故障，隔离故障并转移故障影响区内负荷，以减少故障影响范围，从而总体提高电网运行的经济性和安全性。

目前，国内外许多学者对负荷转供提出的方法基本可以分成以下几类：启发式算法、数学优化法、专家系统法和人工智能算法。上述算法均可获得可行的转供方案输出，但均存在一定的缺陷。

如基于直观或经验构造，模拟思维逻辑的启发式算法，它根据联络开关的剩余容量，失电区域的位置划分，尝试用简单的操作，试图一次提供解决方案，方案的最优性很难达到，极易陷入局部最优解，得到解的优劣非常依赖于网络的初始状态，这种方法虽然不需要太多次的潮流计算，在目前各种算法中实时性相对较好，但依然需要进行多次潮流求解对解决方案进行选择，其依然不能满足配电网负荷转供的实时性要求。

将配电网重构问题用简化数学模型进行描述的数学优化算法，如最优流模式法，将每一条环路合上再打开电流最小的刀闸，当配电网络结构庞大、复杂和维数大时，需要不停反复计算直到趋于稳定，会出现“组合爆炸”的问题；其对于电网仿真过程的优化使求解过程出现许多不确定性因素，对最终结果的准确性影响较大。由于数学优化方法比较简单，不能很好地兼顾复杂的大电网，而且其计算是从局部到整体，极易陷入局部最优解，其计算过程也需要消耗大量时间，造成过长的停电时间，无法满足配电网负荷转供的实时性要求。

专家系统法能够自动生成恢复故障需要操作的方案并保存在库中，实时性好，适用性广，可应用于网络较大时的方案求解。但专家系统的只是库的建立和集成费时费力，且实际中故障种类多种多样，无法记录包括全部情况。

传统的人工智能算法主要有一些随机搜索算法与有监督学习算法。随机搜索算法如禁忌搜索算法、粒子群搜索算法、遗传算法计算次数多，计算量大，求解时间较长，可能出现最优解或者不收敛的情况，无法很好兼顾求解速度与全局最优解。有监督学习算法如神经网络法需要建立在以往经验上进行学习，在样本充足的情况下容易找到全局中最优解，但是在缺少有标签数据的情况下难以获得较好的训练结果。这类方法属于在故障发生以后，获得故障信息基础上的搜索最优解的方法，中间需要进行大量的迭代计算与潮流求解，初始解如果距离最优解较远，将消耗大量时间寻找最优解，也无法在短时间内为系统提供较优的解决方案。

发明内容

本发明的实施例提供了一种基于深度强化学习的配电网负荷转供方法，以克服现有技术的问题。

为了实现上述目的，本发明采取了如下技术方案。

一种基于深度强化学习的配电网负荷转供方法，包括：