[发明专利]基于多智能体随机一致博弈和虚拟发电部落的狼群部落策略方法

权利要求书

1.基于多智能体随机一致博弈和虚拟发电部落的狼群部落策略方法，其特征在于包括以下步骤：

步骤S1、确定状态离散集S；

步骤S2、确定联合动作离散集A；

步骤S3、在每个控制周期开始时，采集各个电网的实时运行数据，所述实时运行数据包括频率偏差△f和功率偏差△P，计算各个区域控制误差ACE_i(k)的瞬时值与控制性能标准CPS_i(k)的瞬时值；

步骤S4、在当前状态S，某区域电网i获得一个短期的奖励函数信号R_i(k)；

步骤S5、通过计算与估计获得值函数误差p_k、δ_k；

步骤S6、通过函数求取最优目标值函数及策略；

步骤S7、对所有区域电网j，更新所有状态-动作对(s,a)的Q函数表格和资格迹矩阵e_j(s,a)，并由更新的Q值更新当前状态S下的混合策略U_k(s_k,a_k)，再由混合策略U_k(s_k,a_k)更新值函数Q_k+1(s_k,a_k)、资格迹元素e(s,a)、变学习率φ以及平均混合策略表；

步骤S8、确定拉普拉斯矩阵L，获得部落功率△P_i，并由部落功率获得爬坡斜率；

步骤S9、对领导者和跟随着的虚拟一致性变量进行更新；

步骤S10、求解各台机组功率△P_iw，如果机组功率越限,则跳转到步骤S9；

步骤S11、当达到边界条件时，计算发电功率△P_iw和t_iw并且更新行随机矩阵元素；

步骤S12、计算功率偏差△P_error-i，判断是否满足，若满足则进行下一步计算，若不满足则跳转到步骤步骤9；

步骤S13、返回步骤S3。

2.根据权利要求1所述基于多智能体随机一致博弈和虚拟发电部落的狼群部落策略方法，其特征在于：所述步骤S2的联合动作离散集A的表达式为：

A＝A₁×A₂×…×A_i×…×A_n其中，A_i为智能体i的输出离散动作集，n为智能体个数。

3.根据权利要求1所述基于多智能体随机一致博弈和虚拟发电部落的狼群部落策略方法，其特征在于：所述步骤S3的实时运行数据利用计算机和监控系统来采集；

所述区域i的区域控制误差ACE_i(k)的瞬时值计算方法如下：

ACE＝T_a-T_s-10B(F_a-F_s)，

其中，T_a为联络线实际潮流值、T_s为联络线期望潮流值，B为频率偏差系数，F_a为系统实际频率值，F_s为系统期望频率值；

所述区域i的控制性能标准1的CPS_i(k)的瞬时值计算方法如下：

CPS1＝(2-CF1)×100％,

其中，B_i为控制区域i的频率偏差系数；ε₁为互联电网对全年1分钟频率平均偏差均方根的控制目标值；n为该考核时段的分钟数；ACE_AVE-1min为区域控制误差ACE在1分钟内的平均值；△f_AVE为频率偏差△f在1分钟内的平均值；

所述区域i的控制性能标准2的CPS_i(k)的瞬时值计算方法如下：

CPS2＝(1-R)×100％,

其中，

式中，ε₁₀为互联电网对全年10分钟频率平均偏差均方根的控制目标值；B_net为整个互联电网的频率偏差系数；ACE_AVE-10min为区域控制误差ACE在10分钟内的平均值。