[发明专利]一种边缘异构场景中的端云协同推理方法和系统

说明书

本发明公开了一种边缘异构场景中的端云协同推理方法和系统。该方法包括离线和在线的两个阶段。在离线阶段，得到各个节点CPU以及内存占用率与神经网络每层推理时间的逻辑回归函数。在线阶段动态获取CPU与内存使用率，实时更新当前CPU和内存压力值下的神经网络各层的执行时间，根据此时间选择最佳模型划分点与最优节点，以达到最大的系统吞吐量。本发明公开了一种边缘异构场景中的端云协同推理框架的组成原理，可以确定异构边缘计算系统的最佳边缘设备和模型划分点，应用于图像分类检测系统，达到系统高吞吐量要求。

技术领域

本发明涉及边缘异构系统以及深度神经网络模型推理领域，具体涉及一种边缘异构场景中的端云协同推理方法和系统。

背景技术

近年来，深度学习在计算机视觉领域得到了成功应用。为了进一步实现高精度的图像分类和目标检测性能，神经网络模型的深度不断增加。为了满足深度学习的大量计算需求，避免云计算带来的大量数据传输以及边缘计算算力不足的问题，业界提出了边缘云协同推理的方法。云中心与边缘设备的协同推理可以有效解决资源受限物联网设备的实时深度推理问题，模型切分是常用的方法。模型切分将DNN(Deep Neural Networks，深度神经网络)模型分为两部分，一部分在边缘设备上执行，另一部分在云服务器上执行。云中间与边缘设备的协同推理不仅避免了大量数据的传输，而且可以充分利用边缘设备的性能。

目前关于模型划分的研究主要集中在单边缘服务器下DNN模型的划分，通过最小化总的推理延迟来获得优化的分割点。但是在划分方面存在一些挑战：1)现实场景中的异构边缘系统中有多个边缘设备；2)不同边缘设备上CPU使用率和内存压力会影响每层的推理时间。在异构边缘计算系统中，边缘端的设备有多个，可能包含带有GPU的边缘服务器或树莓派等不同设备。当推理任务来临时，边缘设备可能在执行别的任务从而影响了设备的性能，主要体现在CPU和内存的占用率上，传统模型切分方法没有考虑到边缘异构场景下CPU和内存的占用率对神经网络推理时间的影响，然而神经网络每层的推理时间对模型的划分起着关键作用，如果推理时间不准确，模型的划分层就会存在很大的误差。

发明内容

本发明提供了一种新的方法来预测不同设备上神经网络模型各层的推理时间，在模型划分前，根据设备上CPU和内存占用率对每层的时间进行更新。本发明提出一个边缘异构场景下的智能协同推理框架。该方法可以确定异构边缘计算系统的最佳边缘设备和模型划分点，可以应用于图像识别等检测系统，达到系统的高吞吐量要求。

本发明采用的技术方案如下：

一种边缘异构场景中的端云协同推理方法，包括以下步骤：

在离线阶段，获得各个边缘设备和云服务器的CPU占用率、内存占用率与神经网络的每层推理时间的逻辑回归函数；

在在线阶段，动态获取边缘设备和云服务器的CPU占用率和内存占用率，利用逻辑回归函数实时更新神经网络各层的执行时间，根据神经网络各层的执行时间选择神经网络的最佳模型划分点和最佳边缘设备，以达到最大的系统吞吐量。

进一步地，所述离线阶段包括：

获得神经网络模型的基本信息，包括每层的输入输出大小；

选择不同边缘设备和云服务器的实时CPU和内存使用情况作为确定变量，训练多项式回归模型，用于每层运行时估计，得到CPU和内存占用率与神经网络每层推理时间的逻辑回归函数。

进一步地，所述离线阶段采用以下步骤得到CPU和内存占用率与神经网络每层推理时间的逻辑回归函数：

给边缘设备以及云服务器造成确定的CPU占用率以及内存的占用率；

在不同的CPU占用率以及内存占用率的条件下运行不同的神经网络模型，得到每个模型每一层的执行时间并记录；