[发明专利]一种基于DQN算法的区域自动发电动态控制方法

说明书

本发明公开了一种基于DQN算法的区域自动发电动态控制方法，通过DQN算法和深度神经网络相结合来进行区域自动发电动态控制。本发明实施例的技术方案通过DQN算法和深度神经网络相结合来进行区域自动发电动态控制，以深度神经网络(DNN)来代替传统Q学习中的“状态‑动作”对，直接构成电网连续状态量与奖励期望之间的映射关系；通过与深度神经网络的有机结合，不仅使Q学习算法拥有了处理复杂的连续状态量的能力，从根本上解决了维数灾问题，同时可以使用深度学习算法对深度神经网络参数进行预学习以有效提高算法的收敛速度。

技术领域

本发明涉及一种基于DQN算法的区域自动发电动态控制方法，属于电力系统自动发电控制技术领域。

背景技术

自动发电控制(automatic generation control，AGC)作为能量管理系统(energymanagement system，EMS)的重要环节之一，主要分为2个过程：1)总功率指令的跟踪2)总功率指令的分配。通常以CPS考核合格率作为评价AGC控制性能的重要标准。传统的负荷频率控制，即狭义的自动发电控制(AGC)因为采用了负反馈控制，比例积分环节始终都可以消除误差达到稳定状态。但由于火电系统存在非线性环节，基于线性规划控制的动态性能无法让人满意。同时二次控制回路的比例积分增益系数不仅与系统结构参数有关，还与负荷变化相关，需随着系统负荷的变化实时调节，才能满足负荷变化时频率的变化要求。

CPS标准下的AGC系统可看作“不确定的随机系统”,数学模型以高斯-马尔可夫随机过程建模，功率动态分配问题可理解为一个离散时间马尔可夫决策过程。传统解析方法对电网结构、参数以及运行量测数据的精确程度依赖较高，复杂的迭代求解算法常存在鲁棒性不强的问题。以马尔可夫决策过程(MDP)为严格数学基础的强化学习(RL)算法只需对当前控制效果的评价信息做出反应，具有更高的控制实时性和鲁棒性，以及常规控制方法所不具备的渐进学习寻优能力。近年来涌现大量研究将RL算法广泛应用到电力系统运行与规划的决策之中。

专利申请号为201811407241.2的中国发明专利：“一种考虑预防策略的大规模电力系统自动发电控制方法”，提出一种将深度森林算法与强化学习算法相结合的自动发电控制方法，具有处理表征关系的能力和逐层加强表征学习的能力。深度森林算法作为基于决策树的集成算法，能减少强化学习算法带来的维度灾难；深度森林强化学习算法用于预防性策略，可预测电力系统的下一时刻状态。但该方法仅能削弱维数灾引起的计算困难，并不能从根本上解决维数灾问题。

发明内容

针对以上方法存在的不足，本发明提出了一种基于DQN算法的区域自动发电动态控制方法，其能够从根本上解决维数灾问题，能够让AGC系统在在一定范围内预测下一时刻的状态，提高AGC系统的主动控制能力，更好地实现智能化的发电控制。

本发明解决其技术问题采取的技术方案是：

本发明实施例提供的一种基于DQN算法的区域自动发电动态控制方法，通过DQN算法和深度神经网络相结合来进行区域自动发电动态控制。

作为本实施例一种可能的实现方式，所述DQN算法和深度神经网络相结合的过程包括以下步骤：

(1)设计DQN算法的状态集S、动作集A和奖励函数R；

(2)初始化以下参数：算法记忆库、具有相同结构的Q神经网络和Q_t神经网络、初始状态s₀、以及学习速度α和折扣因子γ；

(3)求解当前状态s下的值函数Q(s,a)，依据贪婪原则选择控制动作a，并考虑机组容量和爬坡速度硬性约束对控制动作a进行额外处理；

(4)将处理过的控制动作a作用于电力系统仿真环境，得到反馈的系统新状态s'，依据奖励函数公式计算出控制动作对应的立即奖励r，并将(s,a,r,s')作为一条样本经验存入算法记忆库；