[发明专利]一种基于深度强化学习的地铁站空调系统节能控制方法

权利要求书

1.一种基于深度强化学习的地铁站空调系统节能控制方法，其特征在于：通过以下步骤实现：

S1、采集地铁站空调系统数据参数；

S2、对采集的数据进行滑动平均滤波处理、归一化和反归一化处理并利用线性函数转换方法将数据转换成0-1范围内的数值；

S3、利用神经网络和步骤S2获得的数据构建地铁站空调系统的神经网络模型；

S4、确定DDPG智能体的状态变量、动作变量、奖励信号以及结构；

S5、利用多步预测的DDPG算法求解最后的控制策略；

所述神经网络具有一个输入层、一个隐含层和一个输出层，所述隐含层的节点数为10；

所述输出层输出的为下一时刻系统能效比EER[k+1]和站台温度T_in[k+1]；

所述DDPG智能体的状态变量S＝[T_out,RH_out,L,EER,T_in]；

DDPG智能体的动作变量A＝[T_chws,f_pumpch,f_pumpc,f_t,f_fan,d]；

DDPG智能体的奖励信号：R＝-|T_in-T_{in_set}|+e^EER/100，其中，T_{in_set}代表站台温度设定值，e^EER表示系统能效比的指数函数；

DDPG智能体结构包括Actor网络和Critic网络，且Actor网络和Critic网络均由3层的全连接层网络构成；

所述多步预测的DDPG算法包括Actor当前网络π(s,θ)、Critic当前网络q(s,a,w)、Actor目标网络π′(s,θ′)以及Critic目标网络q′(s,a,w′)，其中，具体算法如下：

step1:随机初始化参数θ、w、θ′＝θ、w′＝w；清空经验回放池D；

step2:初始化状态S；

step3:基于Actor当前网络π(s,θ)生成n组动作A_i＝π(S,θ)+ξ(i＝1,2,...,n)；

step4:利用系统模型,执行A_i(i＝1,2,...,n)，并向前预测p步,产生p个未来时刻的状态、动作和奖励值；

step5:计算每一组的总奖励值R_total(A_i)，共n个，令A＝argmax(R_total(A_i))；

step6：执行动作A,得到下一时刻状态S′和奖励R；

step7：将{S,A,R,S′}这个四元组存入经验回放池D；

step8：S←S′；

step9:从集合D中随机采样m个样本，{S_j,A_j,R_j,S′_j}j＝1,2,...,m，根据计算式y_j＝R_j+γq′(S′,π′(S′,θ′),w′)计算当前目标值y_j；

step10:根据计算式计算计算均方差损失函数J(w)，更新

step11:根据计算式计算计算损失函数J(θ)，更新θ：

step12:如果N％C＝1，根据计算式w′←τw+(1-τ)w′和θ′←τθ+(1-τ)θ′更新目标网络参数；

step13:若S是非终止状态,转step3；S不是非终止状态,转下一步；

step14:若迭代次数小于N,转step2,若不小于N,结束；

其中，θ为Actor当前网络参数；θ′为Actor目标网络参数；w为Critic当前网络参数；w′为Critic目标网络参数；A为智能体施加给环境的动作；ξ为随机高斯噪声；D为经验回放池集合；m为批量梯度下降的样本数；C为目标网络参数更新频率；N为最大迭代次数；步长α^θ＞0，α^w＞0；γ为折扣因子，τ为软更新系数；n为预测组数；p为预测步数。

2.根据权利要求1所述的一种基于深度强化学习的地铁站空调系统节能控制方法，其特征在于，所述地铁站空调系统数据具包括：

室外温度T_out[k]；

室外相对湿度RH_out[k]；

系统负荷L[k]；

系统能效比EER[k]；

站台温度T_in[k]；

冷冻水供水温度T_chws[k]；

冷冻水泵流量f_pumpch[k]；

冷却水泵流量f_pumpc[k]；

冷却塔风机电压f_t[k]；

末端风机频率f_fan[k]；

冷冻水阀开度d[k]；

其中：k表示当前时刻。