[发明专利]数据并行化处理方法、系统、设备及存储介质

权利要求书

1.一种数据并行化处理方法，其特征在于，包括：

从多个第一计算节点中确认具有逻辑关系的至少三个第一计算节点，将所述具有逻辑关系的至少三个第一计算节点定义为第一并行节点组，所述第一并行节点组包括第一前节点和至少两个第一后节点；

获取所述第一前节点的第一输入数据模型并生成所述第一前节点的第一输入张量；

根据所述第一输入数据模型和所述第一输入张量计算所述第一前节点的第一输出张量；

获取所述至少两个第一后节点的第二输入数据模型并将所述第一输出张量作为第二输入张量；

根据所述第二输入数据模型和所述第二输入张量分别计算所述至少两个第一后节点的第二输出张量，得到所述第一并行节点组的第一计算结果；

其中，在所述获取所述第一前节点的第一输入数据模型并生成所述第一前节点的第一输入张量之前，还包括：

根据所述至少两个第一后节点的数量确认所述第一前节点的引用次数；

其中，在所述根据所述第二输入数据模型和第二输入张量计算所述至少两个第一后节点的第二输出张量，得到所述第一并行节点组的第一计算结果之后，还包括：

判断每个第一后节点是否完成计算；

在每个第一后节点完成计算后，分别对所述第一前节点的引用次数减一；

判断所述第一前节点的引用次数是否为零；

在所述第一前节点的引用次数为零的情况下，删除片上存储的所述第一输出张量并将所述第一输出张量存储到片外存储器中；

其中，所述在所述第一前节点的引用次数为零的情况下，删除片上存储的所述第一输出张量并将所述第一输出张量存储到片外存储器中之后，还包括：

判断所述第一并行节点组的所述至少两个第一后节点的下游是否存在以所述至少两个第一后节点中的任一节点为第二前节点的第二并行节点组，所述第二并行节点组包括所述第二前节点和至少两个第二后节点；

在所述第一后节点的下游存在以所述至少两个第一后节点中的任一节点为第二前节点的第二并行节点组的情况下，获取所述第二前节点的第三输入数据模型并生成所述第二前节点的第三输入张量；根据所述第三输入数据模型和第三输入张量计算所述第二前节点的第三输出张量；获取所述至少两个第二后节点的第四输入数据模型并将所述第三输出张量作为第四输入张量；根据所述第四输入数据模型和第四输入张量分别计算所述至少两个第二后节点的第四输出张量，得到所述第二并行节点组的第二计算结果；

在所述第一后节点的下游不存在所述第二并行节点组的情况下，接收计算完成指令以结束计算。

2.根据权利要求1所述的方法，其特征在于，所述从多个第一计算节点中确认具有逻辑关系的至少三个第一计算节点，将所述具有逻辑关系的至少三个第一计算节点定义为第一并行节点组，包括：

判断所述至少三个第一计算节点是否包括具有逻辑关系的所述第一前节点和所述至少两个第一后节点；

响应于所述至少三个第一计算节点包括具有逻辑关系的所述第一前节点和所述至少两个第二后节点，将所述至少三个第一计算节点定义为所述第一并行节点组。

3.根据权利要求1所述的方法，其特征在于，在所述获取所述第一前节点的第一输入数据模型并生成所述第一前节点的第一输入张量之前，还包括：

对所述第一并行节点组的所述第一前节点和所述至少两个第一后节点进行加锁。

4.根据权利要求1所述的方法，其特征在于，在所述第一前节点的引用次数为零的情况下，删除片上存储的所述第一输出张量并将所述第一输出张量存储到片外存储器中之后，还包括：

删除所述片上存储的与所述第一前节点对应的计算图。