[发明专利]一种基于强化学习的主动配电网有功无功联合控制方法

说明书

本发明提出一种基于强化学习的主动配电网有功无功联合控制方法，属于电力系统运行和控制技术领域。该方法基于主动配电网近似仿真模型和有功无功联合控制优化模型，建立基于马尔科夫过程决策的交互训练环境，通过采集各时刻主动配电网各节点有功、无功功率以及电压组成的状态向量以及各智能逆变器有功、无功功率和各无功补偿装置的无功功率构成训练样本；通过强化学习训练主动配电网有功无功联合控制智能体；利用训练完毕的智能体通过各时刻主动配电网的状态计算得到各智能逆变器的有功、无功功率和无功补偿装置的无功功率的优化结果。本发明充分利用近似模型的内在信息，大幅提高了数据驱动的主动配电网有功无功联合控制方法的效率与安全性。

技术领域

本发明属于电力系统运行和控制技术领域，特别涉及一种基于强化学习的主动配电网有功无功联合控制方法。

背景技术

随着可再生能源渗透率的不断提高，电压越限和网络损耗已成为阻碍主动配电网(ADN)安全和有效运行的主要问题。因此，合适地利用智能逆变器的有功、无功功率及无功补偿装置十分关键。但是在主动配电网中，有功功率和无功功率在容量和功率流中都耦合在一起。此外，由于主动配电网建设速度快，运营预算有限以及环境不断变化，复杂的主动配电网的模型难以维护，使得传统的优化算法计算精度差。因此，数据驱动的无模型的优化方法，特别是近年来发展迅速的深度强化学习方法，是电网有功无功联合控制的重要手段。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种基于强化学习的主动配电网有功无功联合控制方法。本发明基于主动配电网近似模型和有功无功联合优化目标，建立马尔科夫决策过程，并引入经验优先回放技术和重要性采样技术训练有功无功联合控制智能体。本发明充分利用近似模型的内在信息，大幅提高了数据驱动的主动配电网有功无功联合控制方法的效率与安全性，特别适合模型不完备问题严重的区域主动配电网使用，既节省了重复维护精确模型带来的高昂成本，又避免了数据驱动主动配电网在线学习时所产生的安全性问题与成本问题，适合大规模推广。

本发明提出一种基于强化学习的主动配电网有功无功联合控制方法，其特征在于，该方法首先分别建立主动配电网的近似仿真模型和有功无功联合控制的优化模型，根据该两个模型，建立基于马尔科夫过程决策的交互训练环境，通过采集各时刻主动配电网各节点有功功率、无功功率以及各节点电压的组成状态向量以及各智能逆变器的有功功率、无功功率和各无功补偿装置的无功功率构成训练样本；通过强化学习中的深度确定性策略梯度算法，并运用经验优化回放技术训练主动配电网有功无功联合控制智能体；利用训练完毕的智能体通过各时刻主动配电网的状态计算得到该时刻各智能逆变器的有功、无功功率和无功补偿装置的无功功率的优化结果，实现对主动配电网的控制。该方法包括以下步骤：

1)建立主动配电网近似仿真模型，具体如下：

记主动配电网包含n+1节点，构建该主动配电网对应的无向图其中为配电网的节点集合，节点0为主动配电网连接到外部电网的耦合节点；为支路集合，其中i，j分别代表支路两端的节点；

在所有n+1个节点中，有n_SI个节点上的分布式电源装有智能逆变器，有n_CD个节点装有无功补偿装置；

其中，所述n_SI个节点与所述n_CD个节点不重合，n_SI+n_CD≤n；

智能逆变器的有功无功可控范围和无功补偿器的无功可控范围由式(1)确定：