[发明专利]一种神经网络模型的拆分方法及相关产品

权利要求书

1.一种神经网络模型拆分方法，其特征在于，所述方法应用于多核处理器结构芯片，所述方法包括：

根据所述神经网络模型中目标层的算子，确定与所述目标层的算子关联的张量数据的拆分状态集合；其中，所述目标层为所述神经网络模型中的至少一层；

在所述目标层的算子与关联的拆分状态集合之间插入胶水算子，调整所述算子的张量数据的拆分状态集合中的状态；其中，所述胶水算子用于将所述张量数据按照一拆分方式获得的状态调整成按照任一种拆分方式获得的状态；

根据所述神经网络模型的有向无环图遍历所述拆分状态集合，确定相邻拆分状态集合之间的状态路径；其中，所述状态路径表示所述算子的拆分方式；所述拆分状态集合中的每个状态表示一个子张量数据集合，所述状态的所有子张量数据的并集结果为所述张量数据；

根据所述算子的计算负载、访存数据量以及加速器核的计算吞吐速率、访存带宽确定所述状态路径的权重；其中，所述状态路径的权重为所述算子在某种拆分状态下在多核加速器上并行执行所用的时间进行表征，且多核加速器完成一个算子的计算的时间取决于执行子任务耗时最长的那个核的时间；

遍历所述目标层的所有拆分状态集合，对当前拆分状态集合，遍历每一状态，获得所有指向当前状态的状态路径以及所述状态路径的起始状态到所述目标层的输入张量数据的起始状态的拆分路径；根据所述状态路径的权重和所述拆分路径的权重确定所述当前状态到所述目标层的输入张量数据的起始状态的拆分路径；其中，所述拆分路径的权重根据所述拆分路径对应的所有状态路径的权重确定；遍历完所述目标层的所有拆分状态集合后，获得所述目标层的输入张量数据的拆分状态集合与所述目标层的输出张量数据的拆分状态集合之间权重最小的目标拆分路径；

或

遍历所述目标层的所有拆分状态集合，对当前拆分状态集合，遍历每一状态，获得所有以当前状态为起点的状态路径以及所述状态路径的结束状态到所述目标层的输出张量数据的终止状态的拆分路径；根据所述状态路径的权重和所述拆分路径的权重确定所述当前状态到所述目标层的输出张量数据的终止状态的拆分路径；其中，所述拆分路径的权重根据所述拆分路径对应的所有状态路径的权重确定；遍历完所述目标层的所有拆分状态集合后，获得所述目标层的输入张量数据的拆分状态集合与所述目标层的输出张量数据的拆分状态集合之间权重最小的目标拆分路径；

利用所述目标拆分路径对所述神经网络模型的目标层的算子进行拆分，并将拆分完成的所述神经网络模型作为应用于实时服务领域中待使用的神经网络模型。

2.如权利要求1所述的方法，其特征在于，在所述目标层的算子与关联的拆分状态集合之间插入胶水算子的步骤包括：

在所述目标层的算子与关联的拆分状态集合之间插入胶水算子，获取包含所述胶水算子在内的神经网络模型的有向无环图；

根据所述有向无环图遍历所述目标层的所有张量数据对应的拆分状态集合，确定相邻拆分状态集合之间的状态路径及状态路径的权重；

根据所述状态路径的权重，确定包含所述胶水算子在内的神经网络模型的目标层的目标拆分路径；

利用包含所述胶水算子在内的神经网络模型的目标层的目标拆分路径对插入的每个胶水算子进行选择，对不需要插入的胶水算子删除，对需要插入的胶水算子保留。

3.如权利要求1所述的方法，其特征在于，所述胶水算子用于将胶水算子的输入张量数据的拆分状态集合中的状态进行拼接。

4.如权利要求1所述的方法，其特征在于，所述胶水算子用于将胶水算子的输入张量数据的拆分状态集合中的状态进行拆分。

5.如权利要求1所述的方法，其特征在于，所述胶水算子用于将胶水算子的输入张量数据的拆分状态集合中的状态进行拼接，再对经拼接处理后的拆分状态集合中的状态进行拆分。

6.如权利要求1所述的方法，其特征在于，所述胶水算子用于将胶水算子的输入张量数据的拆分状态集合中的状态进行拆分，再对经拆分处理后的拆分状态集合中的状态进行拼接。

7.如权利要求1所述的方法，其特征在于，所述神经网络模型的目标层的算子拆分后获得的子算子数量为2的整数次幂。