[发明专利]建筑机电系统的控制方法、存储介质和终端设备

权利要求书

1.一种建筑机电系统的控制方法，其特征在于，所述方法包括：

获取传感器数据并根据预设目标数据确定当前状态；

以迭代方式根据基于策略的价值函数预测由所述当前状态下按照当前策略执行相应动作的价值，并按照预设算法分步更新所述价值函数及其策略，直到一次更新后的策略与更新前的策略相同为止，所述价值函数为Q值矩阵或逼近函数；

所述策略通过一个策略函数得到，所述策略函数通过利用历史数据对神经网络训练得到；

根据更新后的策略确定所述当前状态对应的动作并执行；

其中，按照预设算法更新所述价值函数及其策略，直到一次更新后的策略与更新前的策略相同为止包括：

按照预设算法更新所述价值函数；

按照预设算法更新所述价值函数包括：

基于贝尔曼方程Q^h(x,u)＝r(x,u)+γQ^h(f(x,u),h(f(x,u)))更新基于策略的价值函数Q^hl，其中l代表迭代次数，Q^h(x,u)代表在状态x依照策略h执行动作u所得到的Q值，r(x,u)代表在状态x执行动作u所得到的回报值，γ代表折扣因子，f(x,u)代表状态x经过执行动作u得到下一个状态的过渡方程。

2.根据权利要求1所述的方法，其特征在于，按照预设算法更新所述价值函数及其策略，直到一次更新后的策略与更新前的策略相同为止还包括：

根据所述按照当前策略执行相应动作的价值确定在所述当前状态下价值最大的动作，并将所述价值最大的动作更新到所述当前策略中；

判断更新后的策略与更新前的策略是否相同；

当更新后的策略与更新前的策略不同时，返回上述迭代更新价值函数及其策略的步骤；

当更新前的策略与更新后的策略相同时，停止迭代，将所述更新后的策略作为所述价值函数的当前最优策略。

3.根据权利要求1所述的方法，其特征在于，所述神经网络的激活函数为ReLU函数。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果在预设时长之后从传感器获取到的数据未达到所述预设目标数据，则利用所述预设时长内积累的状态及其动作数据继续训练所述神经网络。

5.一种终端设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行权利要求1至4任意一项所述的建筑机电系统的控制方法。

6.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-4任意一项所述的建筑机电系统的控制方法的步骤。