[发明专利]用于热控制的机器学习装置、系统和方法

权利要求书

1.一种用于针对电子设备建立热控制策略的机器学习装置，包括：

状态观察模块，其被配置为接收与所述电子设备的热条件相关联的一个或多个状态变量，所述一个或多个状态变量以图形形式呈现；

瞬态模型模块，所述瞬态模型模块被配置为基于所述一个或多个状态变量生成奖赏；其中，所述一个或多个状态变量包括所述电子设备的处理器的温度；所述瞬态模型模块被配置为当所述处理器的温度超过第一阈值时将所述奖赏减少第一值，且当所述处理器的温度超过第二阈值时将所述奖赏减少第二值；以及

强化学习模块，其被配置为基于所述奖赏和所述一个或多个状态变量来更新动作值表；该动作值表包括所述电子设备的风扇值表，其指示下一动作中所述电子设备的风扇的脉冲宽度调制PWM信号的占空比的增加或减少。

2.如权利要求1所述的机器学习装置，其中，所述一个或多个状态变量还包括环境温度、所述电子设备的所述处理器消耗的功率、以及用于所述电子设备的所述风扇的所述脉冲宽度调制PWM信号的所述占空比中的一个或多个。

3.如权利要求1所述的机器学习装置，其中，所述占空比的增加或减少选自以下组：0、+2％、-2％、+5％、-5％、+9％和-9％。

4.如权利要求1所述的机器学习装置，其中，所述瞬态模型模块还被配置为当所述处理器的温度落入预定目标范围内时增加所述奖赏。

5.如权利要求1所述的机器学习装置，其中，所述瞬态模型模块还被配置为根据所述处理器的温度与预定值之间的距离来确定奖赏，并且其中，所述距离是所述处理器的温度减去所述预定值所得运算结果的绝对值。

6.如权利要求1所述的机器学习装置，其中，所述瞬态模型模块还被配置为根据所述处理器的温度与预定范围之间的距离来确定奖赏，所述预定范围具有上端点和下端点，并且当所述处理器的温度高于所述上端点时，所述距离是所述处理器的温度减去所述上端点所得运算结果的绝对值，当所述处理器的温度低于所述下端点时，所述距离是所述处理器的温度减去所述下端点所得运算结果的绝对值。

7.如权利要求1所述的机器学习装置，其中，所述瞬态模型模块还被配置为当所述占空比的波动不超过预定范围时增加所述奖赏。

8.如权利要求1所述的机器学习装置，其中，所述瞬态模型模块还被配置为通过以下来操作进行自我训练：基于在预定时间内从环境和所述电子设备提取的数据组中随机选择的一个或多个变量的值来生成奖赏值并且输出动作值。

9.如权利要求8所述的机器学习装置，还包括重放存储器，其被配置为预存储所述数据组。

10.如权利要求1所述的机器学习装置，其中，所述瞬态模型模块还被配置为通过使用一组实验数据输入来进行自我训练，以建立优化所述奖赏的所述热控制策略，所述实验数据输入包括环境温度、所述电子设备消耗的功率、所述处理器的温度、以及用于所述电子设备的所述风扇的所述脉冲宽度调制PWM信号的占空比。