[发明专利]一种神经网络模型的拆分方法及相关产品

权利要求书

1.一种用多核处理器实现的神经网络模型计算的数据拆分方法，其特征在于，所述方法包括：

根据所述神经网络模型中目标层的算子，确定与所述目标层的算子关联的张量数据的拆分状态集合；其中，所述目标层为所述神经网络模型中的至少一层；

根据所述神经网络模型的有向无环图遍历所述拆分状态集合，确定相邻拆分状态集合之间的状态路径及状态路径的权重；其中，所述状态路径表示所述算子的张量数据的拆分方式；所述拆分状态集合中的每个状态表示一个子张量数据集合，所述状态的所有子张量数据的并集结果为所述张量数据；

根据所述状态路径的权重，确定所述目标层的张量数据的目标拆分路径；其中，所述状态路径的权重是执行子任务的所花费的时间；或执行子任务的吞吐量；或通过实际测量在所述多核处理器上执行所述状态路径对应的算子拆分方式下的所有子任务的时间来确定；

利用所述目标拆分路径对所述神经网络模型的目标层的算子的张量数据进行拆分，以分配到多核处理器的各核进行运算。

2.如权利要求1所述的方法，其特征在于，确定所述目标层的张量数据的目标拆分路径的步骤包括：

遍历所述目标层的张量数据的所有拆分状态集合，对当前拆分状态集合，遍历每一状态，获得所有指向当前状态的状态路径以及所述状态路径的起始状态到所述目标层的输入张量数据的起始状态的拆分路径；

根据所述状态路径的权重和所述拆分路径的权重确定所述当前状态到所述目标层的输入张量数据的起始状态的拆分路径；其中，所述拆分路径的权重根据所述拆分路径对应的所有状态路径的权重确定；

遍历完所述目标层的张量数据的所有拆分状态集合后，获得所述目标层的输入张量数据的拆分状态集合与所述目标层的输出张量数据的拆分状态集合之间的目标拆分路径。

3.如权利要求1所述的方法，其特征在于，确定所述目标层的张量数据的目标拆分路径的步骤包括：

遍历所述目标层的张量数据的所有拆分状态集合，对当前拆分状态集合，遍历每一状态，获得所有以当前状态为起点的状态路径以及所述状态路径的结束状态到所述目标层的输出张量数据的终止状态的拆分路径；

根据所述状态路径的权重和所述拆分路径的权重确定所述当前状态到所述目标层的输出张量数据的终止状态的拆分路径；其中，所述拆分路径的权重根据所述拆分路径对应的所有状态路径的权重确定；

遍历完所述目标层的张量数据的所有拆分状态集合后，获得所述目标层的输入张量数据的拆分状态集合与所述目标层的输出张量数据的拆分状态集合之间的目标拆分路径。

4.如权利要求1所述的方法，其特征在于，所述神经网络模型的目标层的算子拆分后获得的子算子数量为2的整数次幂。

5.如权利要求1所述的方法，其特征在于，所述神经网络模型的目标层的算子的输入张量数据的拆分状态集合中的状态根据所述算子的计算逻辑和对应输出张量数据的拆分状态集合中的状态确定。

6.如权利要求1所述的方法，其特征在于，所述神经网络模型的目标层的算子的输出张量数据的拆分状态集合中的状态根据所述算子的计算逻辑和对应输入张量数据的拆分状态集合中的状态确定。

7.如权利要求1所述的方法，其特征在于，还包括：

在正向遍历阶段，当所述算子的输出张量数据被至少两个算子作为输入张量数据，或者所述算子具有至少两个输出张量数据时，所述算子的输出张量数据的拆分状态集合中保留一个拆分状态，且所述拆分状态经由所述算子的同一状态路径确定。

8.如权利要求1所述的方法，其特征在于，还包括：

在反向遍历阶段，当所述算子具有至少两个输入张量数据时，所述算子的输入张量数据的拆分状态集合中保留一个拆分状态，且所述拆分状态经由所述算子的同一状态路径确定。

9.如权利要求1所述的方法，其特征在于，所述状态路径的权重根据算子的类型和规模、多核处理器硬件参数确定。