[发明专利]基于强化学习的综合能源系统需求响应方法、系统及设备

权利要求书

1.基于强化学习的综合能源系统需求响应方法，其特征在于，包括以下步骤：

S1：根据用电设备的用能特性对用电设备进行分类，基于分类结果构建综合能源系统需求响应优化函数；

S2：获取未来24小时的环境变量预测值以及用电设备的用电数据预测值；其中，用电设备的用电数据预测值包括状态数据预测值以及能耗数据预测值；

S3：采用队列数据结构对用电设备的用电数据预测值进行储存，队列数据结构中每一台用电设备的用电数据预测值为一列数据；

S4：构建用电设备能耗预测模型；

S5：将未来24小时的环境变量预测值以及队列数据结构中每一列数据作为训练集对用电设备能耗预测模型进行训练，得到未来24小时新的用电设备能耗数据预测值，并判断是否满足迭代停止条件，若否，将未来24小时新的用电设备能耗数据预测值保存至队列数据结构中，对队列数据结构进行更新，重新执行步骤S5；若是，将未来24小时新的用电设备能耗数据预测值输入到综合能源系统需求响应优化函数进行求解，得到综合能源系统的需求响应。

2.根据权利要求1所述的基于强化学习的综合能源系统需求响应方法，其特征在于，根据用电设备的用能特性将用电设备分为：固定负荷设备、可中断负荷设备以及可平移负荷设备。

3.根据权利要求2所述的基于强化学习的综合能源系统需求响应方法，其特征在于，只考虑可中断负荷设备以及可平移负荷设备，构建综合能源系统需求响应优化函数。

4.根据权利要求1所述的基于强化学习的综合能源系统需求响应方法，其特征在于，队列数据结构中每列数据存储有n天的用电设备的用电数据，每天新增的用电设备的用电数据添加到每列数据最后一位时，位于每列数据最前一位的用电设备的用电数据将被清除，每个数据列的长度为n×24。

5.根据权利要求1所述的基于强化学习的综合能源系统需求响应方法，其特征在于，判断满足迭代停止条件的具体过程为:

根据每次得到未来24小时新的用电设备能耗数据预测值计算未来24小时的用电设备单日用电成本C_buf，判断下列条件是否满足：

|C_buf-C|＜ε

其中，C_buf为C的子集，ε为阈值。

6.根据权利要求1所述的基于强化学习的综合能源系统需求响应方法，其特征在于，用电设备能耗预测模型包括输入层、输出层以及隐含层，其中，输入层具有3个输入节点，隐藏层具有8个节点，输出层具有1个输出节点。

7.根据权利要求6所述的基于强化学习的综合能源系统需求响应方法，其特征在于，输入层具有的三个输入节点为：第i小时的环境变量预测值第i小时的用电设备的状态数据预测值以及第i+1小时的用电设备的状态数据预测值输出层的输出节点为：未来24小时新的用电设备能耗数据预测值。

8.根据权利要求7所述的基于强化学习的综合能源系统需求响应方法，其特征在于，未来24小时新的用电设备能耗数据预测值采用神经网络近似函数q_nn表示：

式中，Q_i为未来第i个小时新的用电设备能耗数据预测值，为权重向量。