[发明专利]一种面向深度学习分层模型的协同推理方法

说明书

本发明属于端边协同计算领域，公开了一种面向深度学习分层模型的协同推理方法，对深度学习分层模型采取逐层分割的方案，通过边缘计算节点处理速度这一状态信息，只需做一次统一决策，即可为节点匹配计算量合适的不同层推理子任务；还使用网络遥测技术感知节点间网络状态，当出现阻塞问题时即刻对上述整体决策做出相应调整；既降低了决策复杂度，又降低推理时延的同时，同时还提高了边缘节点的资源利用率，保证资源的合理分配。

技术领域

本发明属于端边协同计算领域，具体涉及一种面向深度学习分层模型的协同推理方法。

背景技术

现如今，随着基于深度神经网络DNN的智能应用得到广泛使用，存在大量计算密集型或延迟敏感型任务。由于网络带宽限制和动态环境的不确定性问题，传统的云端处理方式难以满足用户对时延提出的高要求，且数据的安全性难以保证。而随着边缘计算和5G技术的发展，为深度学习分层模型在边缘侧推理提供可能。

通常情况下，深度学习模型计算任务量较大，由单一边缘计算节点处理往往会因其计算能力有限，无法满足低时延的要求；为此，人们根据深度学习模型分层的特性提出了一种分层卸载方法，即将深度学习模型分割为前后两个部分，分别卸载至端设备、边缘节点或云端处理。不过根据其最优节点原则，任务往往被卸载至某一或某几个计算能力较高的节点处理，随着推理任务的增多，节点的负载过大。相反，某些计算能力一般的节点往往不参与计算，这就大量计算资源空闲，没有得到充分利用。

对此，现有技术中存在新的多层分割方式的研究，如专利申请CN115562760A，公开了基于边缘计算节点打分表的深度学习模型分层卸载方法，其中决策依据的是由节点信息和模型数据生成的打分表，在降低时延的同时保证了计算资源的充分利用；但该专利申请也存在一些不足，首先，在大大的边缘集群场景下，打分表的数据显得过于庞大，且每层任务处理完需要做一次决策，决策时延较高；其次，其并未考虑到节点间网络拥塞的问题，无法克服拥塞带来的影响。

发明内容

为解决上述技术问题，本发明提供了一种面向深度学习分层模型的协同推理方法，对深度学习分层模型采取逐层分割的方案，通过边缘计算节点处理速度这一状态信息，只需做一次统一决策，即可为节点匹配计算量合适的不同层推理子任务；还使用网络遥测技术感知节点间网络状态，当出现阻塞问题时即刻对上述整体决策做出相应调整。

本发明所述的一种面向深度学习分层模型的协同推理方法，包括以下步骤为：

步骤1、对边缘集群中的各边缘计算节点及深度学习模型的离线数据进行统计并预处理，将预处理后的数据通过中心节点转发至各个边缘计算节点内；

步骤2、终端设备将其接收到的推理任务转发至中心节点，中心节点作出整体决策，并将决策信息转发给相应的边缘计算节点执行；

步骤3、中心节点在每次转发给相应的边缘计算节点前判断该节点是否可执行；若为是，则进行任务；若为否，则向上轮询查找更高级别的可行节点进行处理；

步骤4、所有任务完成后将最终计算结果回传至终端设备。

进一步的，边缘集群中的距离终端设备最近的边缘计算节点为中心节点，步骤1为前期准备工作阶段，包括边缘计算节点离线统计阶段、各层计算量离线统计阶段、排序阶段和离线数据下发阶段；

边缘计算节点离线统计阶段，统计出各个边缘计算节点的处理速度并归一化；

各层计算量离线统计阶段，统计各类参与推理的深度学习模型的每层计算任务大小情况；

排序阶段，对归一化后的节点处理速度和分层模型各层计算量大小由大到小依次向下排列；

离线数据下发阶段，对以上获得的离线数据下发至边缘集群中各个边缘计算节点处。