[发明专利]一种基于多智能体深度强化学习的有源配电网协同调压方法及系统

说明书

本发明公开了一种基于多智能体深度强化学习的有源配电网协同调压方法及系统，包括获取高比例可再生能源配电网协同电压控制模型；将协同电压控制模型设计为与每个分布式电源逆变器控制相关的马尔可夫博弈问题；采用多智能体注意力近端策略优化算法以及专家知识求解马尔可夫博弈问题，最终得到每个分布式电源逆变器的本地有功功率和无功功率最优控制策略；将训练获得的最优控制策略部署进行在线协同调压，与现有方法相比，本发明方法可实现配电网电压安全前提下具有更强的可再生能源消纳能力。

技术领域

本发明涉及配电网电压调节与人工智能交叉技术领域，尤其涉及一种基于多智能体深度强化学 习的有源配电网协同调压方法及系统。

背景技术

传统配电网的潮流是从首段节点沿馈线方向向各节点负荷供电，呈放射型，沿馈线潮流方向电 压逐渐降低。而分布式电源的并网，改变了潮流的分布，进而出现分布式电源向本节点或附近节点 供电的情况，造成局部节点电压的升高。因此，非常有必要对含分布式电源的配电网进行实时协同 控制，使其在控制各节点电压在安全范围内的同时最小化分布式电源有功功率削减量。

传统方法的有源配电网协同调压方法主要包括：如基于经验规则的方法和基于安全最优功率流 的方法(如模型预测控制)。前者采用预先设定的门限值作为决策的依据，计算量小，但容易造成 不必要的负荷切除。后者需要知晓系统模型的准确知识而且计算量大。为了减少对精准模型的依赖， 一些基于数据驱动的方法被提出，如强化学习方法。这些方法可以学习到端到端的策略，即根据电 网的反馈信息直接得到控制决策。然而，传统的强化学习方法无法有效应对状态空间较大的情况， 即方法缺乏稳定性甚至不收敛。为此，现有研究提出了一些基于深度强化学习的电压控制方法，如 基于多智能体深度强化学习方法，其中包括Multi-Agent Deep Deterministic Policy Gradient (MADDPG)等方法，这些方法虽然能有效控制电压，但算法稳定性和可扩展性较弱，无法实现大规 模分布式电源之间的高效协作，进而降低有功功率削减量。

发明内容

本发明的目的是提供一种基于多智能体深度强化学习的有源配电网协同调压方法及系统，具备 多智能体近端策略优化算法和专家知识带来的稳定性和注意力机制带来的高可扩展性。

本发明为实现上述发明目的采用如下技术方案：

本发明提供了一种基于多智能体深度强化学习的有源配电网协同调压方法，包括：

获取高比例可再生能源配电网协同电压控制模型；

将协同电压控制模型设计为与每个分布式电源逆变器控制相关的马尔可夫博弈问题；

采用多智能体注意力近端策略优化算法以及专家知识求解马尔可夫博弈问题，最终得到每个分 布式电源逆变器的本地有功功率和无功功率最优控制策略；

将训练获得的最优控制策略部署进行在线协同调压。

进一步地，所述协同电压控制模型包含目标函数、决策变量和约束条件；

若配电网节点数为M，接入分布式电源数为N，其目标函数表述为：

式(1)中：[·]⁺＝max(·,0)，|·|表示取绝对值，V_min和V_max分别表示节点可接受的最低 和最高电压值，V_j,t表示t时隙节点电压，M表示配电网节点数，Δp_i,t表示第i个分布式电源在t 时隙的有功功率削减量，Δq_i,t为第i个分布式电源逆变器在t时隙的无功补偿量，N表示配电网接 入分布式电源数，α为分布式电源有功削减成本相对于电压偏离程度导致的惩罚成本的重要性系 数，β为分布式电源逆变器无功相对于电压偏离程度导致的惩罚成本的重要性系数；

决策变量和约束条件，公式如下：