[发明专利]一种基于强化学习的异常天气场景风电预测方法

权利要求书

1.一种基于强化学习的异常天气场景风电预测方法，所述风电预测方法基于强化学习系统，所述强化学习系统包括数据集、策略网络和价值网络；其特征在于：所述强化学习系统还包括根据异常天气中历史时段风电功率变化对所述策略网络、价值网络更新预测未来时段风电状况的环境互换模块，其中：所述环境互换模块通过如下步骤完成对策略网络、价值网络更新：

S101、初始化价值网络与策略网络；

初始化价值网络与策略网络，如式(5-1)-(5-2)所示：

q(a,s,w) (5-1)

π(a|s,θ) (5-2)

其中，s表示状态，a表示动作，w,θ分别表示价值网络与策略网络；

S102、根据历史阶段风电功率通过如下公式对数据集训练获得环境奖赏值；

r_t＝-|y_t-a_t| (5-5)

其中，y_t表示与x_t对应的未来时刻风电出力数据，即训练样本的输出；表示不同的分位数水平；

S103、根据历史阶段风电功率通过如下公式对数据集训练获得预测价值；

q_t＝q(s_t,a_t,w_t) (5-7)

q_t+1＝q(s_t+1,a_t+1,w_t) (5-8)

其中，s_t与s_t+1表示t时刻与t+1时刻的状态，a_t与a_t+1表示对应的动作决策，q_t与q_t+1表示长期的回馈，q表示回馈函数；

S104、根据环境奖赏值、预测价值通过如下公式对价值网络更新；

δ_t＝q_t-(r_t+γq_t+1) (5-9)

w_t+1＝w_t-α·δ_t·d_w,t (5-11)

其中，δ_t表示误差，γ、α为给定参数，d_w,t表示求导，w_t与w_t+1表示t时刻与t+1时刻的价值网络参数；

S105、根据环境奖赏值、预测价值通过如下公式对策略网络更新；

θ_t+1＝θ_t+β·q_t·d_θ,t (5-13)

其中，β为给定系数，d_θ,t表示求导，θ_t与θ_t+1表示t时刻与t+1时刻的策略网络参数。

2.根据权利要求1所述的一种基于强化学习的异常天气场景风电预测方法的应用，其特征在于：所述环境互换模块在强化学习系统应用过程：

S201、根据历史阶段风电出力数据构建强化学习系统的训练数据集；

S202、对强化学习系统中数据集、策略网络和价值网络进行初始化；

S203、采用权利要求1中所述环境互换模对策略网络、价值网络更新步骤；

S204、判断是否完成对所有样本的训练；

S205、判断是否完成所有迭代次数；

S206、输出预测未来阶段风电出力状况。