[发明专利]基于强化学习算法的配电网继电保护人工智能整定方法

权利要求书

1.一种基于强化学习算法的配电网继电保护人工智能整定方法，其特征在于：包括以下步骤：

步骤1、根据配电网继电保护的基本性质，建立奖励函数；

步骤2、根据奖励函数，计算配电网中各个断路器的奖励值并填入Q-Table表中，从而建立强化学习算法中的Q-Table表格；

步骤3、采用贝尔曼方程对Q-Table表格中的Q值进行迭代,所述Q值为断路器的奖励值；

步骤4、对Q-Table表格中的Q值全部迭代结束后，将最后一次迭代的状态量设为配电网断路器的最终定值。

2.根据权利要求1所述的基于强化学习算法的配电网继电保护人工智能整定方法，其特征在于：所述步骤1建立的奖励函数P_x为：

式中，P_sel为选择性的奖励函数，P_sen为灵敏性的奖励函数，P_spe为速动性的奖励函数。

3.根据权利要求2所述的基于强化学习算法的配电网继电保护人工智能整定方法，其特征在于：所述选择性的奖励函数P_sel为：

式中，X_sel=0/1/2表示主低开关跳闸/正确跳闸/越级跳闸，表示选择性惩罚值，表示主低开关跳闸惩戒系数，表示选择性奖励值，、分别表示当前损失负荷、最小损失负荷；W_max表示线路总负荷；

所述灵敏性的奖励函数P_sen为：

式中，X_sen=0/1表示故障未切除/切除；表示灵敏性惩罚值；

所述速动性的奖励函数P_spe为：

式中，表示故障切除时间/最大时间；表示速动性奖励值。

4.根据权利要求3所述的基于强化学习算法的配电网继电保护人工智能整定方法，其特征在于：所述选择性惩罚值取值为-1，所述主低开关跳闸惩戒系数取值为100，所述选择性奖励值取值为5，所述灵敏性惩罚值取值为-100，所述速动性奖励值取值为2。

5.根据权利要求1所述的基于强化学习算法的配电网继电保护人工智能整定方法，其特征在于：所述步骤2的具体实现方法包括以下步骤：

⑴进行状态划分，将断路器进行分级；

⑵进行行为划分，给当前断路器进行赋值；

⑶计算环境对赋值的反馈；

⑷根据环境对赋值的反馈，计算当前级数所有断路器的总奖励值∑Px；

⑸将总奖励值∑Px填入Q-Table表中对应的位置中。

6.根据权利要求5所述的基于强化学习算法的配电网继电保护人工智能整定方法，其特征在于：所述状态划分的方法为：从变电站出线断路器开始，按照潮流方向逐级遍历全网，将各级断路器的定值为S1、S2、S3……SN。

7.根据权利要求5所述的基于强化学习算法的配电网继电保护人工智能整定方法，其特征在于：所述行为划分的公式为：

I_n表示当前断路器的定值赋值，赋值应满足I_min≤I_n≤I_max，其中I_min、I_max分别表示本线路出现的最小短路电流和最大短路电流，k表示步长，n为行为编号；

所述行为划分的具体过程为：

⑴计算本线路出现的最大短路电流I_max和最小短路电流I_min；

⑵根据计算精度要求设置k值，k=100；

⑶根据如下公式计算：

，，……，

。

8.根据权利要求1所述的基于强化学习算法的配电网继电保护人工智能整定方法，其特征在于：所述贝尔曼方程为：

式中,表示当前Q-Table表中第s行a列的值，表示未来Q-Table表中第s行a列所有的值中的最大值；表示未来奖励的衰减值；表示学习率。