[发明专利]基于强化学习算法的双馈感应风力发电机自校正控制方法

说明书

技术领域

本发明涉及一种双馈感应风力发电机自校正控制，特别是涉及一种基于强化学习(Reinforcement Learning，RL)算法的双馈感应风力发电机自校正控制方法。

背景技术

变速恒频双馈发电是目前风力发电普遍采用的一种发电方式，其发电机采用双馈感应电机(double-fed induction generator，DFIG)。当机组工作在额定风速以下时，通过调节发电机转子转速，保持最佳叶尖速比，实现对风能的最大捕获。其控制系统常采用基于定子磁场定向的矢量控制，实现发电机有功、无功功率的解耦控制。

由于风能具有强烈的随机性、时变性，且系统含有未建模或无法准确建模的动态部分，使双馈发电系统成为一个多变量、非线性、强耦合系统，因此仅采用传统矢量控制难以满足控制系统对高适应性和高鲁棒性的要求。目前有采用各种不同的控制方案，但控制效果都不是非常理想，如采用神经网络控制方案，该控制方案改善了控制性能，但稳态误差较大。而采用模糊滑模控制策略，将模糊控制和滑模控制相结合，虽取得了良好的控制效果，但实现较复杂。

发明内容

本发明目的在于克服现有技术的问题，提供一种能够快速自动地优化风机控制系统的输出，不仅实现了对风能的最大追踪，而且具有良好的动态性能，显著增强了控制系统的鲁棒性和适应性的基于强化学习算法的双馈感应风力发电机自校正控制方法。

本发明目的通过如下技术方案实现：

基于强化学习算法的双馈感应风力发电机自校正控制方法：在基于PI控制的矢量控制系统中的PI控制器上增加RL控制器，动态校正PI控制器的输出，RL控制器包括RL-P控制器和RL-Q控制器，RL-P控制器和RL-Q控制器分别对有功和无功功率控制信号校正；该自校正控制方法包括如下步骤：

S1：RL-P控制器和RL-Q控制器分别采样有功功率误差值ΔP和无功功率误差值ΔQ；RL-P控制器和RL-Q控制器分别判断功率误差值ΔP和ΔQ所属区间s_k；

S2：对于所识别的区间s_k，RL-P控制器或RL-Q控制器根据该s_k所对应的动作概率分布用随机函数输出动作α_k，得RL-P控制器或RL-Q控制器输出的校正信号；动作α相应的被选择的概率的集合构成概率分布，每个区间s有其对应的概率分布P_s(a)；

对于RL-P控制器，动作值α_k与PI控制器的输出信号用加法器相加得到定子q轴电流的给定值i_qs^*，即有功功率的控制信号；

对于RL-Q控制器，动作值α_k与PI控制器的输出信号用加法器相加得到定子d轴电流的给定值i_ds^*，即无功功率的控制信号；

S3：RL-P控制器和RL-Q控制器分别采样有功功率误差值ΔP和无功功率误差值ΔQ并判断其所属区间s_k+1；

S4：RL控制器由奖励函数获得立即奖励值r_k；奖励函数设计为：

式中值是动作集A的指针，即第k次动作值α在动作集A中的序号，μ₁和μ₂为平衡前后各平方项的权重值，其数值均为通过大量仿真实验调试所得；

S5：基于Q值迭代公式更新Q矩阵；Q函数为一种期望折扣奖励值，Q学习的目的是估计最优控制策略的Q值，设Q^k为最优值函数Q^*的第k次迭代值，Q值迭代公式设计为：

式中α、γ为折扣因子，其数值均为通过大量仿真实验调试所得；

S6：根据动作选择策略更新公式更新动作概率分布；利用一种追踪算法设计动作选择策略，策略基于概率分布，初始化时，赋予各状态下每个可行动作相等的被选概率，随着迭代的进行，概率随Q值表格的变化而变化；RL控制器找出状态s_k下具有最高Q值的动作a_g，a_g称为贪婪动作；动作概率分布的迭代公式为：

和分别为第k次迭代时s_k状态和非s_k状态下选择动作a的概率；β为动作搜索速度，其数值通过大量仿真实验调试所得；