[发明专利]基于强化学习的室内热环境学习效率提升的优化控制方法

说明书

本发明公开一种基于强化学习的室内热环境学习效率提升的优化控制方法，属于建筑环境控制技术领域。该方法包括首先获取观测数据：包括获取室内外热环境和人体的相关参数；再搭建神经网络模型，使用该模型迭代预测下一时刻的室内温度值、空调耗电量、脑电波；最后利用获取的数据在建立的模型中进行循环运算，并引入DQN强化学习方法，基于神经网络训练控制空调体统的智能体，通过对当前状态值的观测以及得到的奖励，自动学习空调系统控制制热量决策的优化过程，得到最优控制策略，即得到最优的控制方法。本发明能够营造高效学习室内热环境，同时实现暖通空调系统自动控制，降低系统能耗。

技术领域

本发明属于建筑环境控制技术领域，特别是涉及一种基于强化学习的建筑室内热环境的优化控制方法。

背景技术

随着人类的活动加剧了气候变暖的进程，全球平均气温正在以前所未有的速度上升，中国在第75届联合国大会上提出将力争于2030年前实现碳达峰、2060年前实现碳中和的目标。据调查显示，目前建筑领域碳排放量每年约20亿吨，约占全国总碳排放量的40%。近年来，国内需求侧负荷结构正在发生巨大的变化，据统计，在夏季负荷高峰时期，国内空调负荷目前已占尖峰负荷的30%~40%，北京、上海等大型城市占比达到了50%左右，巨大的空调负荷已成为能源消费不断攀升的重要原因。所以，空调系统运行优化是建筑节能重要的组成部分。为实现系统高效运行，需对整个空调制热序列进行优化，然而，在实际建模过程中普遍存在以下局限性：（1）由于每个建筑的保温性能会有所差异，同时建筑热性能难以预测会估计，因此，难以应用基于模型的控制方法。（2）目前室内热舒适评价主要集中在热感觉投票指标上，即推荐一个满足舒适环境的室内温度设定范围。然而，年龄和学习状态对个体的热舒适感知有显著影响。

深度学习方法主要被用来解决对于事物准确感知和表达的相关问题，而强化学习方法主要解决最优策略的问题。基于深度强化学习的控制方法是一种数据驱动的控制方法，智能体通过不断地“试错”，利用环境的反馈信息来更新智能体的控制策略，寻找出最优控制策略，可以降低对先验知识的依赖。

强化学习的基本原理为智能体在环境反馈奖励或惩罚的刺激下持续学习，根据反馈不断调整策略，最终达成奖励最大化或实现特定目标。其中智能体（Agent）是进行不断学习和实施动作的控制器，智能体之外所有与其相互作用的部分被称为环境（Environment）。智能体在状态下，根据策略选择动作，环境将会基于智能体所做出的动作给出响应的奖励（Reward），并转移到下一时刻新的状态。根据获得的奖励获得最优策略。

其中：为折扣率。

强化学习（原理如图1、5所示）的最终目的是通过最大化奖励值来获得最优策略,具有较强的决策能力，在越来越复杂的现实场景中，深度学习可以从原始大规模交互数据中提取高级特征，具有较强的感知能力，但缺乏一定的决策能力。

发明内容

本发明的目的在于提供一种基于强化学习的室内热环境学习效率提升的优化控制方法，以弥补现有技术的不足。

本发明的目标是满足室内热舒适性要求的前提下，降低空调系统的能耗的同时提升室内热环境中学生的学习效率。为了给强化学习的智能体提供一个精确的环境模型，以便在模拟中学习到更好的策略，且因空调系统设备众多，设备型号多样，使用传统的物理建模方法很难建立精确的系统模型。

深度强化学习（Deep Reinforcement Learning, DRL）将强化学习与深度学习结合起来，本发明将Q-learning算法与卷积神经网络相结合，在Q-learning方法当中，用Q-table存储有限的状态-动作Q值；而当面临高维连续的状态-动作空间时，会遇到维度灾难。所以选用DQN算法取代Q-learning算法，输出动作的Q值。

为达到上述目的，本发明是通过以下技术方案实现的：

一种基于强化学习的室内热环境学习效率提升的优化控制方法，该方法包括以下步骤：