[发明专利]一种温度约束下的终端设备异构处理器推断加速方法

说明书

本发明提供一种温度约束下的终端设备异构处理器推断加速方法，针对工业生产环境下配备多个异构处理器的智能终端设备，解决深度神经网络层间异构、处理器异构和环境温度导致的终端设备推断效率低的问题。本发明首先考虑工业生产的环境温度和终端设备处理器功率，建立了温度约束下的终端设备动态频率模型，并使用温度感知的动态频率算法设定设备频率；然后，根据深度神经网络中不同层的计算方式和结构特性，设计了深度神经网络单层并行方法；最后，利用终端设备中的异构处理器，设计了面向异构处理器的深度神经网络单层计算任务分配方法，保障了终端设备异构处理器协同推断的低延迟和鲁棒性。

技术领域

本发明属于边缘计算与工业互联网领域，具体涉及一种温度约束下的终端设备异构处理器推断加速方法。

背景技术

随着硬件技术的快速发展，目前，智能手机、智能摄像头、可穿戴设备、无人机等多种多样的智能终端设备已经广泛应用于人们生产生活的各个领域，这些智能设备往往配备有摄像头、雷达等传感器，以及中央处理器、图形处理器等多种处理器，在某些设备中甚至配备有用于特定领域计算的处理器，如AMD研发用于加速图像处理的加速处理器，谷歌研发用于加速人工智能算法的神经网络处理器等。这些处理器具有较强的计算能力，在传感器采集到图像、声音等信息后，能够对采集到的数据进行分析计算。然而，一方面，深度神经网络层数不断加深，数据量和计算量不断增多；另一方面，绝大多数被广泛使用的智能终端设备受功耗、处理器性能等限制，并不具备传统用于深度神经网络训练和推断的计算机、服务器所具有的强大的计算能力。因此，智能终端设备的训练和推断时延不断提升，对于一些时延敏感性的任务，传统的智能终端设备计算方式已经无法达到任务所需的时延与准确度要求。

一个深度神经网络包括一个输入层，一个输出层以及若干个隐藏层，输入层将图片、文字等输入转化为向量等数据形式后，中间隐藏层进行不同类型的计算，最后通过输出层输出图片分类、文字识别等结果。深度神经网络推断具有参数量大、计算量大和响应速度要求高的特点，现有的智能终端设备由于性能限制，往往难以达到深度神经网络推断任务的时延要求。为了提升智能终端设备的推断速度，传统方式是使用云计算模式执行任务，即将终端设备采集到的图像等数据发送至云计算中心，利用云计算中心强大的计算能力完成推断任务并将结果发送回终端设备。边缘计算是一种层次化的分布式计算架构，通过在网络边缘布置一定数量具有相比于智能终端设备较强的计算和存储能力的边缘设备，能够为网络中的智能终端设备提供通信、存储及计算资源，以降低智能终端设备深度神经网络推断延迟，并更好地利用网络资源。

在最近几年，随着工业互联网的发展，工业生产环境中也开始逐渐使用深度神经网络辅助生产，例如，在产品生产过程中使用摄像头等传感器采集产品线上的产品信息(图片、振动信号等)，通过神经网络推断对这些信息进行分析，能够实现产品表面检测、系统故障诊断等功能。由于工业生产环境常常具有高温高危的特点，因此使用深度神经网络应用代替人工检测，既可以提高工业生产效率，也能够保护工人安全，有着十分重要的意义。随着智能摄像头等智能终端设备的快速发展，工业生产环境中的深度神经网络应用通常被部署于这些智能终端设备中。然而，一方面，现有智能终端设备由于总体计算性能不强，往往难以达到深度神经网络应用对推断准确度和时延的要求；另一方面，工业生产环境的复杂性对智能终端设备的性能也有着诸多限制。因此，较高的准确度和推断时延要求与受工业生产环境限制相对较弱的终端设备计算能力，对传统的基于智能终端设备的深度神经网络推断方式提出了新的挑战。

发明内容

针对传统终端推断方法未考虑不同类型的层具有不同的计算方式和数据结构、忽略异构处理器的不同性能和计算特点以及智能终端设备所处环境对设备中处理器的影响这三项不足，本发明提出针对单层粒度神经网络计算的终端设备异构处理器推断加速方法，在考虑智能终端设备温度限制的条件下，调节设备中异构处理器的工作频率，利用异构处理器细粒度协同加速单层深度神经网络的方法，提升终端设备推断速度，并保证终端设备稳定运行。

为达到上述目的，本发明的技术方案如下：

一种温度约束下的终端设备异构处理器推断加速方法，包括以下步骤：