[发明专利]一种基于强化学习的末端精密空调优化控制方法及系统

权利要求书

1.一种基于强化学习的末端精密空调优化控制方法，其特征在于，包括：

获取预设时间内数据中心机房设备样本数据，根据获取到的样本数据，提取子样本序列集合；

通过样本数据构建热负载和制冷设备之间的关系模型，生成热平衡方程；

根据子样本序列集合，利用EM算法对热平衡方程进行求解得到系统热平衡的作用系数；

定义优化目标函数，并利用强化学习方法求解空调的控制参数。

2.如权利要求1所述的一种基于强化学习的末端精密空调优化控制方法，其特征在于，所述获取预设时间内数据中心机房设备样本数据的方法包括以下步骤：

通过传感器获取预设时间内数据中心机房设备的设备控制参数和温度数据。

3.如权利要求1所述的一种基于强化学习的末端精密空调优化控制方法，其特征在于，所述根据获取到的样本数据，提取子样本序列集合方法包括以下步骤：

根据获取到的样本数据，取每个时刻向前预设时间段内的数据，生成子样本序列集合。

4.如权利要求1所述的一种基于强化学习的末端精密空调优化控制方法，其特征在于，所述热平衡方程表达式包括：

其中，t表示当前时刻；x表示发热设备，如机柜等的发热情况；u表示制冷设备的制冷情况；A_k、B_k分别表示过去T时间段内的各个时刻发热设备、制冷设备对于系统热平衡的作用系数；X_t表示当前时刻机房内热量变化情况，即表示当前时刻机房内热量变化是过去T时间段内制冷系统与发热设备共同作用的结果。

5.如权利要求1所述的一种基于强化学习的末端精密空调优化控制方法，其特征在于，所述根据子样本序列集合，利用EM算法对热平衡方程进行求解得到系统热平衡的作用系数包括以下步骤：

核心似然函数定义如下

其中，p表示概率，l表示似然函数，θ为待求解的A_k、B_k（1≤k≤T），y、z分别表示相对T时间段内的第k个时刻的发热或制冷设备对应的设备控制参数、设备温度；N为第N个子样本序列。

6.如权利要求1所述的一种基于强化学习的末端精密空调优化控制方法，其特征在于，所述定义优化目标函数定义包括：

其中，s表示机房内各个传感器温感的集合，c表示机房内空调的集合，x表示温度，u表示空调控制参数，X_sp表示机房温度目标值，u_min表示空调控制参数可调节范围的最小值，q、r分别表示该传感器温感数据、空调制冷情况对于机房整体的重要程度。

7.如权利要求1所述的一种基于强化学习的末端精密空调优化控制方法，其特征在于，所述利用强化学习方法求解空调的控制参数方法包括以下步骤：

Agent选择一个动作用于环境，环境接受该动作后状态发生变化，同时产生一个强化信号反馈给Agent，Agent根据强化信号和环境当前状态再选择下一个动作，选择的原则是使受到正强化的概率增大。

8.如权利要求7所述的一种基于强化学习的末端精密空调优化控制方法，其特征在于，还包括：

选择的动作影响立即强化值，并影响环境下一时刻的状态以及最终的强化值。

9.一种基于强化学习的末端精密空调优化控制系统，其特征在于，包括：

数据收集及子样本序列提取模块，用于获取预设时间内数据中心机房设备样本数据，根据获取到的样本数据，提取子样本序列集合；

热平衡方程生成模块，用于通过样本数据构建热负载和制冷设备之间的关系模型，生成热平衡方程；

热平衡方程求解模块，用于根据子样本序列集合，利用EM算法对热平衡方程进行求解得到系统热平衡的作用系数；

优化目标函数定义及空调控制参数求解模块，用于定义优化目标函数，并利用强化学习方法求解空调的控制参数。

10.如权利要求9所述的一种基于强化学习的末端精密空调优化控制系统，其特征在于，包括：

用于存储计算机指令的至少一个存储器；

与所述存储器通讯的至少一个处理器，其中当所述至少一个处理器执行所述计算机指令时，所述至少一个处理器使所述系统执行：数据收集及子样本序列提取模块、热平衡方程生成模块、热平衡方程求解模块以及优化目标函数定义及空调控制参数求解模块。