[发明专利]基于图强化学习的电网多断面越限调控方法和系统

权利要求书

1.基于图强化学习的电网多断面越限调控方法，包含如下步骤：

步骤1.构建电网多断面越限数据；

首先根据电网的电气特性参数和拓扑结构建立电网仿真模型，然后基于典型日的数据随机修改该电网中不同发电机的有功出力，修改负载有功以维持发电-用电平衡，最后通过潮流计算筛选数据：将潮流计算收敛但断面越限的样本加入数据集；如此迭代多次，直到数据集中包含T个关键断面越限的电网样本，该数据集便能用于训练和验证电网多断面越限调控的强化学习智能体；

步骤2.计算电网节点嵌入矩阵；

一个电网图状态可以被定义为s＝(A,F)，其中A是包含n个节点的邻接矩阵，F是节点特征矩阵，然后采用图卷积神经网络在电网图网络节点之间进行信息传递：

其中I是单位矩阵，是对角度数矩阵，矩阵的第i个对角元素为表示矩阵的第i行第j列元素，是具有参数ψ的可训练权重矩阵，H^(k)是经过k步计算之后的节点嵌入矩阵；使用节点特征矩阵F作为初始化输入节点嵌入矩阵H⁽⁰⁾，在经过K次迭代计算之后能生成最终的节点嵌入矩阵X＝H^(K)；采用两个独立的图卷积网络f(·)分别计算两个节点嵌入矩阵：

其中N为电网节点的数量，d_x为每个节点上的特征向量长度，X_ρ用于生成多断面归因图；X_v基于归因图进行加权池化，用以生成电网图的表示特征；

步骤3.计算任务嵌入表示；

为了在强化学习中反映不同断面调控任务的特征，构建一个基于多层感知机的任务编码器，该编码器根据断面的独热编码计算出不同任务在神经网络中的嵌入表示:

其中g(·；ξ)是由ξ参数化的多层感知机，对于单一断面调控任务o(Φ)是该断面的独热编码，为该任务的嵌入表示；进一步地，对于M个断面协同调控任务其任务嵌入表示为：

步骤4.生成多断面归因图；

归因图能直观地反映断面任务与电网节点之间的内在联系，指导智能体对发电机的调度行为，利用步骤2中生成的节点嵌入矩阵X_ρ和步骤3中生成的任务嵌入表示来生成电网多断面归因图

步骤5.提取电网图表示特征；

利用步骤2中生成的节点嵌入矩阵X_υ和步骤4中生成的多断面归因图来提取电网图表示特征

步骤6.构建发电机调度强化学习模型；

采取基于竞争架构的深度Q网络来构建发电机调度强化学习模型，并利用步骤5中生成的电网图表示特征作为模型输入，在该架构中智能体采用一个具有参数θ的深度神经网络来估计特定状态下动作a的价值，动作的价值定义为在当前电网状态下执行动作后所得到的期望奖励值，而奖励值具体由电网环境中所使用的奖赏函数决定；智能体每次选择奖励值最高的动作对电网进行调控。

2.实现如权利要求1所述的基于图强化学习的电网多断面越限调控方法的系统，其特征在于，包括：电网多断面越限数据构建模块、电网节点嵌入矩阵计算模块、任务嵌入表示计算模块、多断面归因图生成模块、电网图表示特征提取模块、发电机调度强化学习模型构建模块。