[发明专利]数据并行化处理方法、系统、设备及存储介质

说明书

本发明公开了一种数据并行化处理方法、系统、设备及存储介质。其中，所述方法包括：将所述具有逻辑关系的至少三个第一计算节点定义为第一并行节点组，第一并行节点组包括第一前节点和至少两个第一后节点；获取第一前节点的第一输入数据模型并生成第一前节点的第一输入张量；根据第一输入数据模型和第一输入张量计算第一前节点的第一输出张量；获取至少两个第一后节点的第二输入数据模型并将第一输出张量作为第二输入张量；根据第二输入数据模型和第二输入张量分别计算至少两个第一后节点的第二输出张量，得到第一并行节点组的第一计算结果。本发明通过多个输入的图推理重叠运行，实现了充分利用CPU和运算卡资源的技术效果。

技术领域

本发明实施例涉及网络拓扑图推理技术领域，尤其涉及一种数据并行化处理方法、系统、设备及存储介质。

背景技术

深度学习网络通常由算法训练得来。多数情况下，算法开发人员倾向于使用已有的公开深度学习框架进行模型训练，而大部分公开深度学习框架是针对于中央处理器/图形处理器(Central Processing Unit/Graphics Processing Unit，CPU/GPU)这类计算设备设计的。CPU/GPU采用传统的指令集架构，架构效率较低，灵活性较高。随着深度学习相关技术的发展，对于计算能力的要求越来越高。相关技术中的指令集的架构效率缺陷已经不能满足应用场景的需求。对比而言，数据流架构效率更高，从技术路线来看更加适合深度学习技术的发展趋势。然而，数据流芯片只适用于深度学习算子，正常使用仍然需要CPU协助进行数据传输和处理。运行过程中，将处理好的数据从内存中搬运到片上内存中，等待运算卡运行完成之后将结果拿回，进行后处理，完成整个图推理过程。

相关技术中采用的图推理方法多是单线程运行带有异步计算，而这种图推理方法容易导致不能充分利用CPU和运算卡的运算资源。

发明内容

本发明提供一种数据并行化处理方法、系统、设备及存储介质，以实现针对多个输入的图推理可以重叠运行，从而充分利用CPU和运算卡的资源的技术效果。

第一方面，本发明实施例提供了一种数据并行化处理方法，包括：

从多个第一计算节点中确认具有逻辑关系的至少三个第一计算节点，将具有逻辑关系的至少三个第一计算节点定义为第一并行节点组，第一并行节点组包括第一前节点和至少两个第一后节点；

获取第一前节点的第一输入数据模型并生成第一前节点的第一输入张量；

根据第一输入数据模型和第一输入张量计算第一前节点的第一输出张量；

获取至少两个第一后节点的第二输入数据模型并将第一输出张量作为成第二输入张量；

根据第二输入数据模型和第二输入张量分别计算至少两个第一后节点的第二输出张量，得到第一并行节点组的第一计算结果。

第二方面，本发明实施例还提供了一种数据并行化处理系统，包括：

筛选模块，用于从多个第一计算节点中确认具有逻辑关系的至少三个第一计算节点，将具有逻辑关系的至少三个第一计算节点定义为第一并行节点组，第一并行节点组包括第一前节点和至少两个第一后节点；

第一获取模块，用于获取第一前节点的第一输入数据模型并生成第一前节点的第一输入张量；

第一计算模块，用于根据第一输入数据模型和第一输入张量计算第一前节点的第一输出张量；

第二获取模块，用于获取至少两个第一后节点的第二输入数据模型并将第一输出张量作为第二输入张量；

第二计算模块，用于根据第二输入数据模型和第二输入张量分别计算至少两个第一后节点的第二输出张量，得到第一并行节点组的第一计算结果。

在一实施例中，本发明实施例还提供了一种设备，设备包括：