[发明专利]分布式卷积神经网络细粒度的参数传输调度方法及装置

权利要求书

1.一种分布式卷积神经网络细粒度的参数传输调度方法，其特征在于，所述方法包括：

根据分布式卷积神经网络底层计算图依赖关系、资源关联图及网络属性确认接收操作的优先执行顺序，并生成操作-优先级映射表，所述资源关联图为与每个操作相关联的资源标签的计算图，所述资源标签包括通信与计算；

根据所述操作-优先级映射表、以及每个接收操作相关联的通信/计算依赖关系，生成参数-优先级映射表；

建立参数服务器与每个计算节点之间的至少一个数据流，并为每个数据流分配唯一标识信息，根据所述标识信息生成通道-优先级映射表；

基于接收到的参数发送请求，分别查找所述参数-优先级映射表和所述通道-优先级映射表，根据所述参数的优先级分配相应优先级的网络流，将所述参数发送至网络设备中；

根据每个操作的执行时间，计算所有操作的执行时间上限；

根据所述资源关联图中的资源标签，以及操作执行的并行性，计算操作执行时间下限；

根据所述操作执行时间上限、操作执行时间下限以及完成一个迭代的计划完成时间计算优先级的调度效率；

根据所述操作执行时间上限、操作执行时间下限量化所述计算图和参数优先级的性能收益；

计算所述操作执行时间上限时，采用下述公式：

其中，U_complete为操作执行时间上限，G是计算图，Time是每个操作的执行时间，op为每个操作；

计算所述操作执行时间下限时，采用下述公式：

其中，L_complete为操作执行时间下限，D为资源关联集，会参考所有的操作将资源标签分配给资源关联子集；

计算调度效率采用下述公式：

其中，E(G,Time,m)为调度效率，m为完成一个迭代的计划完成时间；

计算性能收益采用下述公式：

2.根据权利要求1所述的方法，其特征在于，根据分布式卷积神经网络底层计算图依赖关系、资源关联图及网络属性确认接收操作的优先执行顺序包括：

判断网络属性是否满足预设传输条件；

若满足，则在获取所述计算图依赖关系后，确定与每个操作有依赖关系的节点数量；

根据所述与每个操作有依赖关系的节点数量及资源关联图确定接收操作的优先执行顺序。

3.根据权利要求1所述的方法，其特征在于，建立参数服务器与每个计算节点之间的至少一个数据流，并为每个数据流分配唯一标识信息，根据所述标识信息生成通道-优先级映射表包括：

建立所述参数服务器与每个计算节点之间的两个数据流，分别为高流和低流；

分别为高流和低流分配唯一标识信息；

将优先级执行顺序划分为两部分，为优先级相对高的分配高流传输，为优先级相对低的分配低流传输；

根据所述标识信息、优先级与高流/低流的对应关系生成通道-优先级映射表。

4.根据权利要求1所述的方法，其特征在于，基于接收到的参数发送请求，分别查找所述参数-优先级映射表和所述通道-优先级映射表，根据所述参数的优先级以及通道，将所述参数发送至网络设备中包括：

获取每个操作的执行时长，并将所述每个操作的执行时长发送给时间预测模块；

由所述时间预测模块根据执行时长统计每个操作的运行时间，生成时间预测表，并将所述时间预测表发送给排序分配模块；

由所述排序分配模块根据参数-优先级映射表为每个计算节点的操作分配优先级，将操作和通道-优先级映射表发送到执行模块；

由所述执行模块将优先级列表作为输入，并在所述分布式卷积神经网络传输中执行优先级顺序。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在所述分布式卷积神经网络传输中按所述优先级顺序执行操作时，须等待其依赖关系完成后才能继续执行后续操作。

6.一种分布式卷积神经网络细粒度的参数传输调度装置，其特征在于，所述装置包括：

第一计算单元，用于根据分布式卷积神经网络底层计算图依赖关系、资源关联图及网络属性确认接收操作的优先执行顺序；

第一生成单元，用于生成操作-优先级映射表，所述资源关联图为与每个操作相关联的资源标签的计算图，所述资源标签包括通信与计算；

第二生成单元，用于根据所述操作-优先级映射表、以及每个接收操作相关联的通信/计算依赖关系，生成参数-优先级映射表；

建立单元，用于建立参数服务器与每个计算节点之间的至少一个数据流，并为每个数据流分配唯一标识信息，根据所述标识信息生成通道-优先级映射表；

处理单元，用于基于接收到的参数发送请求，分别查找所述参数-优先级映射表和所述通道-优先级映射表，根据所述参数的优先级分配相应优先级的网络流，将所述参数发送至网络设备中；

第二计算单元，用于根据每个操作的执行时间，计算所有操作的执行时间上限；

第三计算单元，用于根据所述资源关联图中的资源标签，以及操作执行的并行性，计算操作执行时间下限；

第四计算单元，用于根据所述操作执行时间上限、操作执行时间下限以及完成一个迭代的计划完成时间计算优先级的调度效率；

第五计算单元，用于根据所述操作执行时间上限、操作执行时间下限量化所述计算图和参数优先级的性能收益；

第二计算单元计算所述操作执行时间上限时，采用下述公式：

其中，U_complete为操作执行时间上限，G是计算图，Time是每个操作的执行时间，op为每个操作；

第三计算单元计算所述操作执行时间下限时，采用下述公式：

其中，L_complete为操作执行时间下限，D为资源关联集，会参考所有的操作将资源标签分配给资源关联子集；

第四计算单元计算调度效率采用下述公式：

其中，E(G,Time,m)为调度效率，m为完成一个迭代的计划完成时间；

第五计算单元计算性能收益采用下述公式：