[发明专利]一种边缘异构场景中的端云协同推理方法和系统

权利要求书

1.一种边缘异构场景中的端云协同推理方法，其特征在于，包括以下步骤：

在离线阶段，获得各个边缘设备和云服务器的CPU占用率、内存占用率与神经网络的每层推理时间的逻辑回归函数；

在在线阶段，动态获取边缘设备和云服务器的CPU占用率和内存占用率，利用逻辑回归函数实时更新神经网络各层的执行时间，根据神经网络各层的执行时间选择神经网络的最佳模型划分点和最佳边缘设备，以达到最大的系统吞吐量。

2.根据权利要求1所述的方法，其特征在于，所述离线阶段包括：

获得神经网络模型的基本信息，包括每层的输入输出大小；

选择不同边缘设备和云服务器的实时CPU和内存使用情况作为确定变量，训练多项式回归模型，用于每层运行时估计，得到CPU和内存占用率与神经网络每层推理时间的逻辑回归函数。

3.根据权利要求1所述的方法，其特征在于，所述离线阶段采用以下步骤得到CPU和内存占用率与神经网络每层推理时间的逻辑回归函数：

给边缘设备以及云服务器造成确定的CPU占用率以及内存的占用率；

在不同的CPU占用率以及内存占用率的条件下运行不同的神经网络模型，得到每个模型每一层的执行时间并记录；

根据CPU占用率、内存占用率与神经网络各层执行之间的关系，利用数学工具进行拟合，预测在不同CPU占用率、内存占用率下的神经网络各层执行时间。

4.根据权利要求1所述的方法，其特征在于，所述在线阶段包括：

获取当前网络传输的带宽，根据当前网络传输的带宽和数据的输出大小，获得神经网络每层中间结果的传输时间；

获取各个当前可用边缘设备以及云服务器的CPU以及内存占用率大小，利用逻辑回归函数更新各层神经网络在边缘端的执行时间，并更新各层神经网络在云端的执行时间；

由神经网络每层中间结果的传输时间，各层神经网络在边缘端的执行时间，以及各层神经网络在云端的执行时间，获得最佳的模型划分点以及最佳的边缘设备，达到系统最大吞吐量。

5.根据权利要求1所述的方法，其特征在于，所述在线阶段包括：

在边缘异构场景中部署Kubernetes，用于进行容器管理、计算配置以及网络资源分配功能；

部署Prometheus以及Node-export来进行实时监控，以实时获取每个边缘设备和云服务器的CPU和内存占用情况，并执行模型划分算法，将划分结果分发到边缘设备上；

边缘设备接收到划分结果后，执行相应的网络层的计算，并得到中间结果，此中间结果发送到云服务器上，云服务器执行剩下的网络层的计算，获得最终结果。

6.根据权利要求1所述的方法，其特征在于，所述在线阶段采用以下步骤获得最佳的模型划分点以及最佳的边缘设备：

遍历神经网络模型的所有层作为划分点，计算在所有设备上三个阶段的时间，分别是：端侧推理总时间、数据传输时间、云端推理总时间；

遍历所有划分点下三个阶段的时间，得到每个划分点下三个阶段中时间的最大值，约束其最大值最小，得到最佳的模型划分点以及最佳的边缘设备。

7.一种边缘异构场景中的端云协同推理系统，其特征在于，包括：

离线处理模块，用于在离线阶段获得各个边缘设备和云服务器的CPU占用率、内存占用率与神经网络的每层推理时间的逻辑回归函数；

在线处理模块，用于在在线阶段动态获取边缘设备和云服务器的CPU占用率和内存占用率，利用逻辑回归函数实时更新神经网络各层的执行时间，根据神经网络各层的执行时间选择神经网络的最佳模型划分点和最佳边缘设备，以达到最大的系统吞吐量。

8.根据权利要求7所述的系统，其特征在于，所述在线处理模块采用以下方式获得最佳的模型划分点以及最佳的边缘设备：

遍历神经网络模型的所有层作为划分点，计算在所有设备上三个阶段的时间，分别是：端侧推理总时间、数据传输时间、云端推理总时间；

遍历所有划分点下三个阶段的时间之和的最大值，约束其最大值最小，获得最佳的划分策略以及最佳划分点。