[发明专利]一种基于融合层的DNN模型并行化和部分计算卸载方法

说明书

本发明公开了一种基于融合层的DNN模型并行化和部分计算卸载方法，属于数据处理领域，包括：S1：使用FL技术对DNN模型进行划分，得到具有计算相关性的计算层；S2：使用部分计算卸载的方式对FL技术划分后的DNN模型进行并行化推理，得到DNN推理时间；S3：使用最小等待算法确定路径调度策略和FL路径数；S4：将粒子群优化算法与最小等待算法相结合，确定FL路径长度、截取融合层大小和路径卸载策略，得到的最小DNN推理时间为最优解。本发明通过Particle Swarm Optimization With Minimizing Waiting算法动态更新FL路径长度、截取融合层大小和路径卸载策略，以探索最优解并避免陷入到局部极小值。

技术领域

本发明是关于数据处理领域，特别是关于一种基于融合层的DNN模型并行化和部分计算卸载方法。

背景技术

随着移动设备的普及和无线接入技术的进步，蓬勃发展的移动应用导致了数据流量的爆炸性增长。根据国际数据公司(International Data Corporation)的报告，到2025年，全球数据中心流量将达到163zettabytes，超过75％的数据将在网络边缘进行处理。另一方面，深度学习在复杂任务中取得了成功，包括计算机视觉、自然语言处理、机器翻译和许多其他任务。在物联网(Internet of Things,IoT)系统中使用深度学习仍存在许多障碍，其中之一是由于计算资源的限制，物联网设备无法同时提供满足实时性要求和高精度要求的结果。然而，在许多物联网系统，如交通监控中，不仅需要更高的处理速度，而且需要更高的精度。

为了应对上述挑战，最近提出了移动边缘计算(Mobile Edge Computing,MEC)。MEC将计算、缓存等功能推向网络边缘，以执行任务处理和提供服务，避免不必要的传输延迟。然而，MEC引入了额外的传输开销和延迟，由于传输的数据量大(如视频)和传输速度慢，这些开销和延迟不可忽略。

为了减少深度神经网络(Deep Neural Network,DNN)的推理时间，最近的研究探索了仅终端设备计算、完全计算卸载和部分计算卸载三种方式。在仅终端设备计算方面，现有研究主要通过优化DNN结构或使用多核来加速DNN推理。在完全计算卸载中，原始数据直接卸载到该类别的边缘服务器。Fang等人介绍了一种交替方向乘法器方法，以分层方式修剪过滤器，然后在边缘服务器(Edge Server,ES)上加速推理DNN(F.Yu,L.Cui,P.Wang,C.Han,R.Huang,and X.Huang,“Easiedge:A novel global deep neural networkspruning method for efficient edge computing,”IEEE Internet of Things Journal,vol.8,no.3,pp.1259–1271,2021.)。在部分计算卸载中，DNN模型分解为层级别的子任务，中间特征层通过遵循相应的计算相关性卸载到ES。一般来说，中间特征层具有更小的传输数据大小，因此传输时间更短。Duan等人通过联合优化多个DNN的划分和调度，最小化DNN推理时间(Y.Duan and J.Wu,“Joint optimization of dnn partition and schedulingfor mobile cloud computing,”in Proceedings of IEEE ICPP,2021,pp.1–10.)。