[发明专利]基于强化和模仿学习的多微网电能交易的定价策略及系统

权利要求书

1.一种基于强化和模仿学习的多微网电能交易的定价策略，其特征在于，包括以下步骤：

步骤1、将能源交易中主电网的定价策略问题转化为马尔科夫博弈模型，定义马尔科夫博弈模型的环境状态、博弈者的行为和奖赏函数；

步骤2、构建主电网的深度神经网络，包括策略网络、评判网络、目标策略网络和目标评判网络；

策略网络用于根据代理人的行为信息输出定价策略，评判网络用于评判代理人的行为策略，目标网络则用于策略网络和评判网络的更新；

步骤3、根据前若干个训练片段的预测平均值并结合大数定律确定当前训练片段微网电能需求预测值；

步骤4、根据需求预测值并结合当前电能市场环境状态确定主电网的定价行为；

步骤5、根据定价行为确定主电网的奖赏函数；

步骤6、将上一时刻的市场环境状态、定价行为、奖赏函数以及当前的环境状态作为过渡集合，采用过渡集合对主电网的策略网络和评判网络进行更新；

步骤7、重复步骤3-6，直至完成所有训练片段中所有时刻的主电网策略网络和评判网络的更新，策略网络输出最优的定价策略。

2.根据权利要求1所述的一种基于强化和模仿学习的多微网电能交易的定价策略，其特征在于，步骤3中微网电能需求预测值的确定方法如下：

其中，e为训练片段，为在训练片段e时微网在时刻t的需求量，相应需求量的预测值。

3.根据权利要求1所述的一种基于强化和模仿学习的多微网电能交易的定价策略，其特征在于，步骤4中确定主电网的定价行为的方法如下：

所述主电网观察电能市场当前的环境状态，并依据所观察到的状态以及随机产生的噪声N_t选择执行定价行为。

4.根据权利要求3所述的一种基于强化和模仿学习的多微网电能交易的定价策略，其特征在于，所述主电网的定价行为的表达式如下：

a_t＝μ(s_t)+U_t(0,ζ^tI)

其中，U_t(0,ζ^tI)是用于确定探索率的随机高斯噪声，s_t代表当前时刻状态，μ代表策略网络，ζ为初始噪声大小，值为0.95，I代表单位矩阵。

5.根据权利要求1所述的一种基于强化和模仿学习的多微网电能交易的定价策略，其特征在于，所述过渡集合的表达式如下：

{s_t-1,a_t-1,r_t-1s_t}

其中，s_t-1为上一时刻的环境状态，a_t-1为上一时刻的行为信息，r_t-1为上一时刻的奖赏函数，s_t为当前时刻的环境状态。

6.根据权利要求1所述的一种基于强化和模仿学习的多微网电能交易的定价策略，其特征在于，所述主电网的策略网络的更新方法如下：

其中，θ^u为策略网络的参数，Q(x_j,a_j)为评判网络的输出；

所述评价网络的更新方法如下：

其中F为每次策略训练时选取的数据量，γ为折扣因子，Q′(x_j,a_j)为目标评判网络的输出。

7.根据权利要求6所述的一种基于强化和模仿学习的多微网电能交易的定价策略，其特征在于，所述目标策略网络和目标评判网络的参数跟随策略网络和评价网络进行软更新：

θ^μ′←τθ^μ+(1-τ)θ^μ′

θ^Q′←τθ^Q+(1-τ)θ^Q′

其中，τ表示软更新参数，τ＝1，θ^u′为目标策略网络的参数，θ^Q为评判网络的参数，θ^Q′为目标评判网络的参数。