[发明专利]基于元强化学习的大规模负荷需求响应策略、系统及设备

权利要求书

1.一种基于元强化学习的大规模负荷需求响应策略，其特征在于：包括

构建优化模型并将所述优化模型进行转化以得到用电成本最低的初始模型；

对所述初始模型进行元强化学习训练得到响应模型；

通过所述响应模型得到大规模负荷需求的响应策略，以进行多用户或多设备的负荷需求响应。

2.根据权利要求1所述的基于元强化学习的大规模负荷需求响应策略，其特征在于：根据离散时间内用电负荷设备的约束条件和用电成本构建所述优化模型，所述约束条件包括功率平衡约束及用电负荷设备约束，所述优化模型为

；其中，为电网负荷功率，λ_t为t时刻的用电成本，和为t时刻所述用电负荷识别的连续控制信号。

3.根据权利要求1所述的基于元强化学习的大规模负荷需求响应策略，其特征在于：将所述优化模型转化为马尔可夫决策过程，所述马尔可夫决策过程表示为

其中，为状态集合，为动作集合，为所述优化模型的状态转移函数，为所述优化模型的奖励函数，t时刻的所述奖励函数为用电成本的相反数。

4.根据权利要求1所述的基于元强化学习的大规模负荷需求响应策略，其特征在于：通过所述马尔可夫决策过程得到用电成本最低的所述初始模型，所述初始模型为

在每个马尔可夫决策时刻，先获取当前状态s并根据所述状态s和所述初始模型在动作集合选择动作a，再根据状态转移函数P_i(s′|s,a)获得状态s′和奖励r_i＝R_i(s,a)。

5.根据权利要求1所述的基于元强化学习的大规模负荷需求响应策略，其特征在于：至少构造一个所述优化模型，所述优化模型的数量设有多个，各优化模型之间具有的相似性，先参数化所述初始模型再利用所述元强化学习训练所述初始模型。

6.根据权利要求1所述的基于元强化学习的大规模负荷需求响应策略，其特征在于：参数化的所述初始模型为π(a|s；θ)，通过元强化学习训练所述初始模型包括以下步骤：

步骤1，初始化参数θ，并随机选取若干优化模型；

步骤2，获取第一状态并根据参数化的所述初始模型π(·|s_i,t；θ)随机选取第一动作；

步骤3，执行第一动作并获得第二状态和奖励；

步骤4，将状态转移过程存档至数据库D；

步骤5，计算并根据梯度更新参数

步骤6，循环进行步骤2至步骤5，以更新参数

7.根据权利要求1所述的基于元强化学习的大规模负荷需求响应策略，其特征在于：在针对特定所述优化模型进行训练时，

步骤1，加载参数θ_i为所述元强化学习的参数θ；

步骤2，获取第一状态并根据参数化所述初始模型π(·|s_i,t；θ_i)随机选取第一动作；

步骤3，执行第一动作并获得第二状态和奖励；

步骤4，计算并根据梯度更新参数

8.根据权利要求1所述的基于元强化学习的大规模负荷需求响应策略，其特征在于：参数化的所述初始模型的损失为

，所述损失用于计算所述梯度。

9.一种基于元强化学习的大规模负荷需求响应系统，其特征在于：包括构建模块、训练模块和响应模块；

所述构建模块用于构建优化模型并将所述优化模型进行转化以得到用电成本最低的初始模型；

所述训练模块用于对所述初始模型进行元强化学习训练得到响应模型；

所述响应模块用于通过所述响应模型得到大规模负荷需求的响应策略，以进行多用户或多设备的负荷需求响应。

10.一种基于元强化学习的大规模负荷需求响应设备，其特征在于：包括至少一个处理器、及与所述处理器通信连接的存储器，其中所述存储器存储可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使所述处理器执行如权利要求1-8任一项所述的基于元强化学习的大规模负荷需求响应策略。