[发明专利]一种基于强化学习的异常天气场景风电预测方法

说明书

本发明公开了一种基于强化学习的异常天气场景风电预测方法，所述风电预测方法基于强化学习系统，所述强化学习系统包括数据集、策略网络和价值网络；所述强化学习系统还包括根据异常天气中历史时段风电功率变化对所述策略网络、价值网络更新预测未来时段风电状况的环境互换模块，其中：所述环境互换模块通过如下步骤完成对策略网络、价值网络更新：S101、初始化价值网络与策略网络；S102、根据历史阶段风电功率对数据集训练获得环境奖赏值；S103、根据历史阶段风电功率对数据集训练获得预测价值；S104、根据环境奖赏值、预测价值对价值网络更新；S105、根据环境奖赏值、预测价值对策略网络更新；本发明可以应对不同环境的策略处理异常环境下的风电预测问题。

技术领域

本发明属于对异常天气预测方法，尤其涉及一种基于强化学习的异常天气场景风电预测方法。

背景技术

随着能源危机与环境污染问题的日益严重，大力发展可再生能源成为了全球重点关注的问题。其中，风力发电作为重要的可再生能源，在新能源装机中占据了重要的比重。据统计，到2020年年底，全球风电装机容量已达到743GW。然而，由于环境因素的影响，风电出力具有很大的随机性与不确定性，给电力系统的安全稳定运行带来很大的挑战。准确可靠的风电预测成为促进可再生能源并网运行的重要前提。常见的风电预测方法主要分为物理方法、统计学方法、人工智能方法以及混合方法。

1)物理方法

物理方法是指直接构建物理环境信息与预测对象之间的关系模型，或者将物理信息作为预测模型的主要输入变量构建预测模型。新能源电力系统供需预测受风速风向、地形条件、环境温度、太阳辐照度、云量等环境因素影响大，深度挖掘物理量与预测对象间的内在联系可以为构建准确可靠的预测模型提供信息支撑。

2)统计学方法

统计学方法为传统预测的常用方法，通过对历史记录数据的分析，建立历史数据与预测对象之间的函数模型。其中，时间序列模型是典型的统计方法，常见模型有自回归模型、移动平均模型、自回归移动平均模型、差分整合移动平均自回归模型。此外，马尔可夫链模型、指数平滑方法、卡尔曼滤波等预测方法也属于统计学方法范畴。

3)人工智能方法

随着人工智能技术与大数据的发展，基于机器学习和深度学习的方法凭借其在数据挖掘和特征提取方面的潜在能力，在风电预测中被广泛应用。

随着异常天气的影响，风电输出功率发生大幅度波动，对调度人员制定含风电电力系统的调度计划带来了巨大的挑战。2021年1月4日-9日，受寒潮影响，冀北地区风电场发生大范围低温停机，累计55座风电场、3640台风机因气温低于最低允许运行温度而停机。传统的预测方法无法有效适应异常的环境变化，因此，异常天气场景下的风电预测是现代智能电网运行调度的重要基础，是未来实现风电并网的重要条件。

发明内容

本发明针对现有风电预测方法的不足，提出了基于强化学习的异常天气场景风电预测方法，该方法利用强化学习的核心优势是在与环境的交互中学习，通过环境对不同行为的评价性反馈信号来逐渐强化与完善学习系统的行为，选择最优的应对不同环境的策略处理异常环境下的风电预测问题。

为了解决现有技术问题，本发明采用如下技术方案予以实施：

一种基于强化学习的异常天气场景风电预测方法，所述风电预测方法基于强化学习系统，所述强化学习系统包括数据集、策略网络和价值网络；所述强化学习系统还包括根据异常天气中历史时段风电功率变化对所述策略网络、价值网络更新预测未来时段风电状况的环境互换模块，其中：所述环境互换模块通过如下步骤完成对策略网络、价值网络更新：

S101、初始化价值网络与策略网络；

初始化价值网络与策略网络，如式(5-1)-(5-2)所示：

q(a,s,w) (5-1)