[发明专利]基于深度强化学习的智能园区空调负荷调控方法和系统

权利要求书

1.一种基于深度强化学习的智能园区空调负荷调控方法，其特征在于，包括：

S1、采集并预处理园区的历史数据，所述历史数据包括历史气象数据、历史负荷数据和空调历史运行数据；

S2、根据预处理后的所述历史气象数据和历史负荷数据，构建园区空调负荷短期预测模型，获取所述园区的空调负荷预测数据；

S3、根据预处理后的所述空调历史运行数据和所述空调负荷预测数据，构建园区空调制冷系统能耗优化的学习模型；

S4、根据所述学习模型，采用基于策略的深度强化学习方法进行寻优，获取所述园区的最优空调负荷调控方案；

所述S1中：

所述历史气象数据包括1周前逐小时室外温度；

所述历史负荷数据包括1周前对应时刻负荷值、24h前对应时刻负荷值、3h前对应时刻负荷值、2h前对应时刻负荷值、1h前对应时刻负荷值；

所述空调历史运行数据包括1周前对应时刻的冷却水泵流量、冷冻水泵流量、冷却水进水温度和冷冻水出水温度，24h前对应时刻的冷却水泵流量、冷冻水泵流量、冷却水进水温度和冷冻水出水温度，3h前对应时刻的冷却水泵流量、冷冻水泵流量、冷却水进水温度和冷冻水出水温度，2h前对应时刻的冷却水泵流量、冷冻水泵流量、冷却水进水温度和冷冻水出水温度，1h前对应时刻冷却水泵流量、冷冻水泵流量、冷却水进水温度和冷冻水出水温度；

所述S3中的学习模型的构建过程，具体包括：

S31、将负荷预测数据q、冷却水泵流量L_c、冷冻水泵流量L_f、冷却水进水温度冷冻水出水温度作为所述学习模型的状态即所述学习模型的输入为状态S；

S32、将冷却水泵流量L_c、冷冻水泵流量L_f、冷却水进水温度冷冻水出水温度作为所述学习模型的动作

S33、以制冷机组的总能耗最小为目标建立奖励函数：

其中P_c为冷却水泵流量变化下的制冷机组能耗，P_f为冷冻水泵流量变化下的制冷机组能耗，为冷却水进水温度变化下的制冷机组能耗，为冷冻水出水温度变化下的制冷机组能耗；

所述S4具体包括：

S41、对actor网络π(S；θ^π)和critic网络Q(S；A；θ^Q)进行初始化，基于行为策略选择随机化的冷却水泵流量、冷冻水泵流量、冷却水进水温度及冷冻水出水温度动作；

S42、整个环境执行选定的动作，获得奖励R_t，然后进入下一个冷却水泵流量、冷冻水泵流量、冷却水进水温度及冷冻水出水温度的状态S_t+1，并将该一系列转换(S_t,R_t,S_t+1)存储在经验回放池中；

S43、达到预设条件后，从所述经验回放池中随机选择确定数量的转换以更新actor网络和critic网络的参数；

S44、计算损失函数，通过损失函数进一步更新策略网络参数，损失函数如下：

其中，为critic网络的目标Q值，L(θ^Q)为损失函数，M为选择的转换的个数；

S45、通过策略梯度函数更新策略，如此循环直到奖励最大化时寻优完成，获得所述园区的最优空调负荷调控方案，策略梯度函数如下：

其中，η_Q为学习速率。

2.如权利要求1所述的智能园区空调负荷调控方法，其特征在于，还包括：

S5、将最优空调负荷调控方案实时推送给空调机房管理人员，指导管理人员及时调整各运行参数。