[发明专利]一种基于融合层的DNN模型并行化和部分计算卸载方法

权利要求书

1.一种基于融合层的DNN模型并行化和部分计算卸载方法，其特征在于，包括以下步骤：

S1：使用FL技术对DNN模型进行划分，得到具有计算相关性的计算层；

S2：使用部分计算卸载的方式对FL技术划分后的DNN模型进行并行化推理，得到DNN推理时间；其中，在部分计算卸载中，通过计算终端设备的计算时间、传输时间和ES的计算时间得到DNN推理时间；

S3：使用最小等待算法确定路径调度策略和FL路径数；

S4：将粒子群优化算法与最小等待算法相结合，确定FL路径长度、截取融合层大小和路径卸载策略，得到的最小DNN推理时间为最优解。

2.如权利要求1所述的基于融合层的DNN模型并行化和部分计算卸载方法，其特征在于，所述步骤S1包括：建立一个以特征层左上角为原点的二维笛卡尔坐标系，其中，设置卷积的步长为1，卷积核的大小为的3×3，输入特征层、中间特征层和输出特征层的大小分别为6×6、4×4和2×2；

FL路径为：一序列由FL技术划分的独立计算的层，作为DAG中的FL路径其中，P表示总的FL路径数，采用DAG的形式表示DNN模型被划分为多条路径和多个具有计算相关性的层；

FL路径长度为τ，表示FL路径长度为τ的融合层大小的向量为其中是融合层的长度向量，是融合层的宽度向量；截取融合层的大小向量集合为其中是FL路径p的截取融合层大小向量，是截取融合层大小的长度，是截取融合层大小的宽度；截取的融合层的大小不超过和

3.如权利要求2所述的基于融合层的DNN模型并行化和部分计算卸载方法，其特征在于，所述步骤S2包括：

S201：获取计算层的计算卸载策略；

S202：获取终端设备和ES的计算时间，终端设备和ES之间的传输时间，以及获取FL策略、路径调度策略和路径卸载策略；

S203：获取具有任务计算相关性的DNN推理时间。

4.如权利要求3所述的基于融合层的DNN模型并行化和部分计算卸载方法，其特征在于，所述步骤S201中，使用表示层的集合，其中，v表示某个计算层，V是计算层的总个数；使用c_v和d_v分别表示层v的传输数据大小和层v的计算量；e_v′v＝(v′,v)∈E表示从v′到v的计算相关性，在计算完成层v′之后才能计算层v，其中E是计算相关性的集合；

在部分计算卸载中，ES在当前卸载层的前置层都完成计算后，开始进行当前卸载层的计算；计算卸载策略为其中如果在终端设备上计算层v，则h_v＝0，如果层v卸载到ES，则h_v＝1。

5.如权利要求3所述的基于融合层的DNN模型并行化和部分计算卸载方法，其特征在于，所述步骤S202中，获取终端设备和ES的计算时间中，终端设备上层v的计算时间计算如下：

ES上v层的计算时间计算如下：

获取终端设备和ES之间的传输时间中，层v从终端设备到ES的传输时间计算如下：

终端设备上FL路径的计算顺序与ES上的传输顺序和计算顺序相同，终端设备上FL路径的计算顺序为路径调度策略其中，s_p是第p条调度路径；路径卸载策略为其中o_p是路径p上第一个计算层和卸载层之间的层数。

6.如权利要求3所述的基于融合层的DNN模型并行化和部分计算卸载方法，其特征在于，所述步骤S203中，路径p上的层v的任务完成时间T_p(v)计算如下：

其中，v′表示对层v具有计算相关行的上一个计算层；

具有计算相关性的DNN推理时间表示为：

C2:T_p(v)

其中，约束C1表示计算相关性，计算层只能在其所有前置层都已计算的情况下进行计算。