[发明专利]一种温度约束下的终端设备异构处理器推断加速方法

权利要求书

1.一种温度约束下的终端设备异构处理器推断加速方法，其特征在于，包括以下步骤：

步骤一：构建温度约束下的终端设备动态频率设定模型，分析工业生产环境下的终端设备功耗控制与时钟频率约束关系，通过实际测量环境温度、设备功耗建模；

步骤二：神经网络单层粒度并行方式选择，刻画深度神经网络各层的计算量，分析卷积层、池化层、全连接层这三类常见层的数据结构与计算量，结合异构处理器的计算方式和结构特性，估算每一层在各处理器上的计算延迟，从而确定深度神经网络单层并行方法；

步骤三：以步骤一、二为基础，提供深度神经网络推断过程的单层粒度计算负载划分，具体包括：

首先，考虑工业生产的高温环境，根据步骤一建立的温度约束下的终端设备动态频率模型，设定设备处理器频率，从而实现对设备功耗的限制以保持设备的温度在合理工况区间；

之后，根据步骤二中设计的深度神经网络单层并行方法，选定不同层及其组合的单层粒度并行模式，可选模式为数据并行与模型并行，进一步考虑每层来自于将两个处理器的输出结果合并造成的计算时间，即并行后额外时延；

最后，实现异构处理器的深度神经网络单层计算任务分配，任务分配的目标为实现终端设备推断总时延最小；将温度约束下的终端设备异构处理器推断加速问题转化为一个遵从一定约束的优化问题，并使用温度感知的动态频率算法TADF与单层异构处理器负载分配算法HSWD算法对每层的计算任务进行负载分配，使得每一层的推断时延最低。

2.根据权利要求1所述的温度约束下的终端设备异构处理器推断加速方法，其特征在于，所述步骤一中构建温度约束下的终端设备动态频率设定模型时，基于建模关键参数终端设备中异构处理器的频率f^processor、异构处理器功耗P^processor，得出终端设备总功耗P；基于建模关键参数t时刻环境温度T_eno(t)与设备温度T(t)，得出设备稳态运行温度T(∞)；异构处理器的浮点运算速度与设备稳态运行温度遵循一定约束。

3.根据权利要求2所述的温度约束下的终端设备异构处理器推断加速方法，其特征在于，所述步骤一具体包括如下过程：

首先对智能终端设备特征进行建模，对于一个配备有CPU和GPU的智能终端设备D，该设备中异构处理器的频率由处理器时钟频率f_clock和每时钟周期浮点运算次数n^processor表示，即和处理器功耗与该处理器的时钟频率有关，其中P^processor＝Ψ(f_clock)³，Ψ(W/((周期/s))³)是一个由处理器架构决定的系数，故处理器功耗有如下表示：

其中，Υ^C＝Ψ^C/(n^C)³，Υ^G＝Ψ^G/(n^G)³；

另外，设备待机功耗通过一个线性模型高精度地估计设备的待机功耗与环境以及设备电压之间的关系，即P^idle＝V(β₁T_eno+β₀)，系数β₁和β₀与设备的性能有关，故终端设备总功耗为：

P＝P^idle+P^C+P^G

＝V(β₁T_eno+β₀)+Υ^C(f^C)³+Υ^G(f^G)³

由于环境温度T_eno(t)与设备自身热功耗因素影响，刻画当设备的处理器工作频率以及环境温度保持稳定时，设备长时间持续工作后将会达到稳定温度模型T(t→∞)；根据热电路模型，将设备的温度表示为与设备功耗有关的函数，当设备D以功率P运行时，t时刻设备的温度表示为：

其中，R(℃/W)和C(J/K)分别表示热阻和热容；

由此可得，当t→∞时，设备稳定运行温度为：

T(∞)＝T_eno(∞)+P·R

＝T_eno(∞)+(P^idle+P^C+P^G)·R

＝(1+VRβ₁)·T_eno(∞)+RΥ^C·(f^C)³+RΥ^G·(f^G)³+VRβ₀

＝α₁·T_eno(∞)+α₂·(f^C)³+α₃·(f^G)³+α₀

使设备的温度始终低于它的最大稳定工作温度T_max；相应地，设备D中的CPU与GPU的浮点运算速度应遵守约束：

α₂·(f^C)³+α₃·(f^G)³≤T_max-α₁·T_eno(∞)-α₀.。