[发明专利]基于强化学习补偿的风力发电变桨距控制方法

说明书

本发明针对风力发电系统变桨距控制问题，提出了一种基于强化学习补偿算法的滑模变桨距控制方法。本专利提出的强化学习补偿算法是将滑模变结构控制和强化学习算法结合起来，基于模型的滑模变结构控制具有强鲁棒性和快速动态响应的特点，在滑模控制信号上叠加一个利用RBF神经网络实现的Actor‑Critic强化学习算法，该强化学习算法可以对系统中的不确定性、扰动和未建模部分进行动态补偿，滑模变结构控制保证初始控制性能，加快了整体算法收敛速度，利用梯度下降法更新网络的各项参数。本发明具有抗干扰好、对变化参数鲁棒性强以及速度快等优点,在保证功率输出稳定在额定值附近的同时，实现桨距角的平稳调节，减轻了机组疲劳度和组件间的磨损。

技术领域

本发明涉及的是一种风力发电技术领域的控制方法，具体地说，涉及一种基于强化学习补偿算法的滑模桨距角控制方法。

背景技术

风电机组变桨距系统通过桨距控制器，完成叶片节距角的控制，在切入风速以上到额定风速以下范围内时，保持风力机桨距角不变，通过改变发电机转速使风力机运行在最佳叶尖速比下来实现最大风能跟踪控制；在额定风速以上到切出风速时，使转速维持在额定转速附近，通过调节桨距角使发电机组输出保持功率恒定，当风速大于切出风速时，进行停机保护。

由于风速的随机性、风电机组参数的时变性，塔影、风切变、偏航回转等引起的负载扰动，变桨距调节桨的往复动作，驱动大质量叶轮负载的惯性环节，使得变桨距控制系统具有参数非线性、参数时变性、滞后性等特点，造成风电机组输出功率的不稳定。

此外，随着风力发电机组单机容量的增加，不平衡载荷引起的风力机疲劳失效成为风电运行维护成本的主要来源。如何减少风力机疲劳失效和磨损，延长各部件的使用寿命是控制领域技术人员目前需要考虑解决的技术问题。

发明内容

技术问题：风力发电系统具有时变非线性等不稳定特性，机组内部参数摄动和外部扰动使得桨距角很难达到精确控制，加之硬件具有延时性，难以保证整体机组安全稳定优化运行。

技术方案：为了克服上述问题，将强化学习和滑模变结构控制结合起来，应用到风力发电变桨距控制中，滑模变结构控制完成对桨距角的基本控制，强化学习用来自适应补偿扰动、摄动和未建模部分对整体性能的影响，达到优化控制的目的，弥补传统方法基于模型的不足，使得系统鲁棒性强，具有良好的动态品质，保证风电机组正常、高效和可靠地优化运行。

本发明提出的基于强化学习补偿的变桨距自学习控制方法与系统，其特征在于该变桨距控制系统采用滑模控制为基础，强化学习补偿为辅助，控制系统结构图如附图1所示，用风速风向传感器采集关于风速等数据信号，当风速信号超过额定值且满足风力机运行条件时，则启动风机的变桨距调节，测量机组输出功率，根据功率偏差求得滑模输入变量s，控制系统分为两阶段进行学习，阶段实现如下：

阶段1：初始化控制系统各项参数，包括滑模变结构控制参数和强化学习网络各项参数，其中一些参数影响着整体学习效果，需要特别调试。滑模变结构控制是准滑动模态控制实现，其中边界层参数Δ是[什么参数，对应哪个公式]个重要参数，需要不断调试，过大可以消除大部分滑模抖动，但是会消弱控制效果；过小会导致滑模抖动变大，但是相应控制效果较好。强化学习利用神经网络来实现，中心的初始值对整个学习有着重要影响，无法较准确的设置中心值会导致整个算法无法收敛，一般采用均值法或者k-means法进行初步设置。强化信号中的容许误差带ε是整个影响整体控制效果的参数，它决定着控制器学习所需达到的目标，也即控制器能把误差降低在多少之下。ε选取较大，此时也就意味着系统可以接受的误差较大，控制器学习时间较短，收敛速度快，但是控制效果较差；ε选取较小，则系统要求精度较高，收敛速度变慢，整体控制效果较好，可是存在一个问题，实际风电控制系统难以做到高速的桨距角变换，所以较高的精度无法实现；

各项参数调试完毕后，即可进行在线学习。根据风机转速反馈构建状态输入向量x作为控制器的输入，控制器根据强化学习在线补偿方法对控制结构进行在线优化；