[发明专利]一种基于深度强化学习的地铁站空调系统节能控制方法

说明书

本发明提供了一种基于深度强化学习的地铁站空调系统节能控制方法，该方法通过采集地铁站空调系统数据参数；对采集的数据进行滑动平均滤波处理、归一化和反归一化处理并利用线性函数转换方法将数据转换成0‑1范围内的数值；利用神经网络和步骤获得的数据构建地铁站空调系统的神经网络模型；确定DDPG智能体的状态变量、动作变量、奖励信号以及结构；利用多步预测的DDPG算法求解最后的控制策略，本发明提出的控制方法具有很好的温度跟踪性能，与传统DDPG算法相比,智能体训练次数减少了86次，且能够在系统负荷变化的情况下使系统稳定运行,满足车站温度需求,同时与目前实际工程中的运行系统相比，节能17.908％。

技术领域

本发明涉及地铁站空调节能领域，特别是一种基于深度强化学习的地铁站空调系统节能控制方法。

背景技术

地铁站作为实现城市轨道交通功能性的必要环节,对人们的日常生活具有重要意义.近年来,随着众多地铁站的快速建设、运营,其相应的能耗也迅速增长,能耗问题日益凸显.其中,暖通空调(Heating,ventilation and air conditioning,HVAC)系统是主要的能耗来源,约占车站总能耗的40％以上,仅次于列车牵引系统，地铁站空调系统的设备一般按照远期高峰小时运行情况进行配置,在运行初中期,客流及行车对数远没有达到设计水平,因此设备选型有较大的富余量,造成空调系统通常在低能效的低负荷段运行,造成能源浪费.此外,目前国内大部分地铁站仍然依赖用于低层设备的PID调节器,以及用于高层监控系统的基于规则的控制方案，PID控制方法存在参数整定和调试困难的问题,在空调系统负荷和工况发生变化时极易产生振荡,控制效果不佳。基于规则的控制方法是指根据地铁运行时刻表对各设备采取固定模式的变频技术,该方法存在无法根据实际负荷需求实时调整控制参数的问题,这不仅会消耗更多能源,还会使得夏季地铁站台温度偏低,造成人员舒适性差.另一方面,目前地铁站空调通常对风系统和水系统单独进行控制,而风系统与水系统之间存在耦合关系,单独控制难以实现系统精准节能,也很难保证人员舒适性要求。要降低地铁站空调系统的运行能耗,就必须在保证车站舒适度的前提下采取合理可行的节能控制方案。

已有研究表明,智能控制方法具有自适应、自学习和自协调能力,能够提升空调系统的性能和节能效果.其中,强化学习(Reinforcement learning,RL)中的智能体通过与环境之间的直接交互来最大化奖励信号,能够实现复杂系统的全局优化控制,是充分发挥空调系统节能潜力的有效方法之一，应用强化学习方法控制地铁站空调系统可以有效提升系统的节能效果.不过目前还有两个问题有待解决,其一是基于无模型的强化学习方法在线训练智能体的收敛时间较长,难以满足控制系统实时性要求。其次，地铁站空调系统的状态空间和动作空间都是多维连续的,然而目前大多数相关研究成果只能处理参数空间有限的问题,且只针对单个离散控制变量产生控制律,这限制了它们对复杂系统控制的适用性。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于深度强化学习的地铁站空调系统节能控制方法，该方法对地铁站空调风系统和水系统进行全局优化控制，可以适应多维连续动作空间的系统；为了提升算法的学习效率,本发明基于多步预测,使智能体择优更新参数，利用邻近训练过程中总奖励值的变化趋势设置了智能体训练终止条件,进一步减少了智能体训练时间，满足站台温度需求和降低系统整体能耗。

本发明的目的是通过以下技术方案来实现的：

一种基于深度强化学习的地铁站空调系统节能控制方法：通过以下步骤实现：

S1、采集地铁站空调系统数据参数；

S2、对采集的数据进行滑动平均滤波处理、归一化和反归一化处理并利用线性函数转换方法将数据转换成0-1范围内的数值；

S3、利用神经网络和步骤S2获得的数据构建地铁站空调系统的神经网络模型；

S4、确定DDPG智能体的状态变量、动作变量、奖励信号以及结构；