[发明专利]一种基于并行分支和张量切分的张量处理方法和处理系统

权利要求书

1.一种基于并行分支和张量切分的张量处理方法，其特征在于，包括：

确定用于对原始张量进行处理的多个操作算子中的目标算子；

组合至少一个目标算子以及至少一个其他算子以生成目标子图，其中所述目标算子与所述其他算子具有相同的直接后继算子，所有目标算子与已组合的目标算子之差集为剩余目标算子；

基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理，所述其他算子为已组合至目标子图的操作算子以外的其他操作算子，其中所述目标子图以及所述剩余目标算子的输入张量分别经切分后输入。

2.根据权利要求1所述的方法，其特征在于，所述操作算子用于执行卷积计算或者池化计算。

3.根据权利要求1所述的方法，其特征在于，所述直接后继算子的直接前驱算子均组合于所述目标子图。

4.根据权利要求1所述的方法，其特征在于，所述相同的直接后继算子为加算子、乘算子和拼接算子中任一。

5.根据权利要求1所述的方法，其特征在于，所述目标算子满足筛选条件，所述筛选条件包括：

基于相应操作算子的预期输入张量的高度超出硬件允许值；或者，

基于相应操作算子处理其预期输入所需的内存需求超出可用片上内存。

6.根据权利要求5所述的方法，其特征在于，所述基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理的步骤，包括：

若基于所述目标子图处理其预期输入所需的内存需求在可用片上内存的范围之内，则基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理。

7.根据权利要求6所述的方法，其特征在于，还包括：

若基于所述目标子图处理其预期输入所需的内存需求超出可用片上内存，增加对所述预期输入的切分数量，并基于更新后的切分数量切分所述预期输入。

8.根据权利要求1所述的方法，其特征在于，所述基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理的步骤，包括：

确定所述目标子图以及所述剩余目标算子的输入张量的切分数量，并基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理，所述其他算子为已组合至目标子图的操作算子以外的其他操作算子，其中所述目标子图以及所述剩余目标算子的输入张量分别经切分后输入。

9.根据权利要求1所述的方法，其特征在于，所述基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理的步骤，包括：

切分所述目标子图的输入张量，获得多个第一切分块；

确定待分别输入所述目标子图中各算子的第一切分块；

切分所述剩余目标算子的输入张量，获得多个第二切分块；

将所述第一切分块分别输入所述目标子图中的相应算子，并将所述第二切分块分别输入相应的剩余目标算子，从而基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理，所述其他算子为已组合至目标子图的操作算子以外的其他操作算子。

10.一种基于并行分支和张量切分的张量处理系统，其特征在于，所述系统至少包括：

目标子图获取装置，用于获取包括目标算子的目标子图，其中所述目标子图获取装置被配置为：

确定用于对原始张量进行处理的多个操作算子中的目标算子；

组合至少一个目标算子以及至少一个其他算子以生成目标子图，其中所述目标算子与所述其他算子具有相同的直接后继算子，所有目标算子与已组合的目标算子之差集为剩余目标算子；

以及，

张量处理装置，用于基于所述目标子图处理所述原始张量，其中所述张量处理装置被配置为：

基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理，所述其他算子为已组合至目标子图的操作算子以外的其他操作算子，其中所述目标子图以及所述剩余目标算子的输入张量分别经切分后输入。