[发明专利]优化张量计算性能的方法及装置

权利要求书

1.一种优化张量计算性能的方法，其特征在于，所述方法包括：

第一处理器确定第一算子的输出张量和第二算子的输出张量的划分规则，并确定与基于所述划分规则划分得到的每个输出张量块分别具有依赖关系的输入张量块；其中，所述输入张量块是对算子的输入张量进行划分得到的张量块；

所述第一处理器确定所述第一算子和所述第二算子间具有依赖关系的张量块的执行顺序；

所述第一处理器接收待执行任务的第一代码，所述待执行任务是对至少一个输入张量进行所述第一算子和所述第二算子的运算的任务，所述第一算子的输出张量为所述第二算子的一个输入张量；

所述第一处理器确定存储分配规则；其中，所述存储分配规则包括：将所述第一算子的输出张量划分得到的输出张量块存储至第二处理器内部的存储介质的规则；

所述第一处理器生成所述待执行任务的第二代码，所述第二代码为能够在所述第二处理器上的张量计算加速硬件并行执行的代码，所述第二代码描述了所述存储分配规则，以及与所述第一算子的每个输出张量块分别具有依赖关系的输入张量块、与所述第二算子的每个输出张量块分别具有依赖关系的输入张量块，以及所述执行顺序；

所述第一处理器向所述第二处理器发送所述第二代码。

2.根据权利要求1所述的方法，其特征在于，所述第一处理器确定所述第一算子的输出张量和所述第二算子的输出张量的划分规则，并确定与基于所述划分规则划分得到的每个输出张量块分别具有依赖关系的输入张量块，包括：

所述第一处理器分别确定在一个线程上和所述第二处理器的每个并行线程层次上，所述第一算子的输出张量和所述第二算子的输出张量的划分规则，并确定与基于所述划分规则划分得到的每个输出张量块分别具有依赖关系的输入张量块；所述并行线程层次指示对所述第二处理器上的多个线程进行分组的分组层级；

所述第一处理器确定所述第一算子和所述第二算子间具有依赖关系的张量块的执行顺序，包括：

所述第一处理器分别确定在一个线程上和所述每个并行线程层次上，所述第一算子和所述第二算子间具有依赖关系的张量块的执行顺序；

所述存储分配规则具体包括：在一个线程上和所述每个并行线程层次上，将所述第一算子的输出张量划分得到的输出张量块存储至所述存储介质的规则；所述第二代码具体描述了：在一个线程上和所述每个并行线程层次上，与所述第一算子的每个输出张量块分别具有依赖关系的输入张量块、与所述第二算子的每个输出张量块分别具有依赖关系的输入张量块，以及所述执行顺序。

3.根据权利要求1或2所述的方法，其特征在于，所述第一处理器确定所述第一算子的输出张量和所述第二算子的输出张量的划分规则，并确定与基于所述划分规则划分得到的每个输出张量块分别具有依赖关系的输入张量块，包括：

所述第一处理器确定对所述第二算子的输出张量进行划分的第二划分规则；

所述第一处理器确定与每个第二类输出张量块分别具有依赖关系的输入张量块和对所述第一算子的输出张量进行划分的第一划分规则；所述第二类输出张量块是基于所述第二划分规则得到的所述第二算子的输出张量的张量块；

所述第一处理器确定与每个第一类输出张量块分别具有依赖关系的输入张量块；其中，所述第一类输出张量块是基于所述第一划分规则得到的所述第一算子的输出张量的张量块。

4.根据权利要求3所述的方法，其特征在于，所述第一处理器确定对所述第二算子的输出张量进行划分的第二划分规则，包括：

所述第一处理器根据所述张量计算加速硬件可支持的张量块的类型和最小张量块的大小，确定所述第二划分规则。

5.根据权利要求4所述的方法，其特征在于，所述第一处理器根据所述张量计算加速硬件可支持的张量块的类型和最小张量块的大小，确定所述第二划分规则，包括：

当所述第一算子的输出张量的类型和所述第二算子的输出张量的类型，满足所述张量计算加速硬件可支持的张量块的类型时，所述第一处理器根据所述张量计算加速硬件可支持的最小张量块的大小，确定所述第二算子的输出张量可划分的输出张量块的大小的范围；

所述第一处理器根据所述范围中的目标值，确定所述第二划分规则。