[发明专利]优化张量计算性能的方法及装置

说明书

本申请公开优化张量计算性能的方法及装置，涉及深度学习技术领域，有助于加快待执行任务的执行速度，从而有助于提升张量计算的整体性能。该方法包括：第一处理器接收待执行任务的第一代码，待执行任务是对至少一个输入张量进行第一算子和第二算子的运算的任务，第一算子的输出张量为第二算子的一个输入张量；第一处理器确定存储分配规则；其中，存储分配规则包括：将第一算子的输出张量存储至第二处理器内部的存储介质的规则；第一处理器生成待执行任务的第二代码，第二代码为能够在第二处理器上的张量加速硬件并行执行的代码，第二代码描述了存储分配规则；第一处理器向第二处理器发送第二代码。

技术领域

本申请涉及深度学习技术领域，尤其涉及优化张量计算性能的方法及装置。

背景技术

随着人工智能产业链的迅速发展，深度学习已经成为研究和应用的热点。多层神经网络的深度学习也变得越来越复杂，因此对于处理器的计算能力要求也越来越高。张量计算作为深度学习最核心的计算，占据了深度学习计算量的百分之九十以上，因此，基于运行在张量计算加速硬件的代码的调优，尤为重要。其中，张量计算加速硬件是集成在处理器上执行张量计算的硬件。

现有技术中，对于待执行任务的代码的调优通常仅限于对单个算子的优化，此种优化方式只能提升单个算子的性能，因此对提升张量计算的性能(如减少执行张量计算的时间)的效果不是很好。

发明内容

本申请实施例提供了优化张量计算性能的方法及装置，有助于提升张量计算的性能。

第一方面，提供了一种优化张量计算性能的方法，包括：首先，第一处理器接收待执行任务的第一代码，该待执行任务是对至少一个输入张量进行第一算子和第二算子的运算的任务，第一算子的输出张量为第二算子的一个输入张量；然后，第一处理器确定存储分配规则；其中，存储分配规则包括：将第一算子的输出张量存储至第二处理器内部的存储介质的规则；接着，第一处理器生成待执行任务的第二代码，第二代码为能够在第二处理器上的张量加速硬件并行执行的代码，第二代码描述了存储分配规则；最后，第一处理器向第二处理器发送第二代码。这样，由于将可复用的张量块存储至第二处理器的近端存储介质上，因此在第二处理器执行第二算子时可以直接从第二处理器的近端存储介质上读取该张量块，这样，有助于缩短数据的读取时间，从而有助于加快待执行任务的执行速度，进而有助于提升张量计算的整体性能。

在一种可能的实现方式中，该方法还可以包括：对第一算子和第二算子进行优化。也就是说，本申请实施例支持“在张量计算的过程中，在单个算子的优化的基础上，考虑了算子间的优化”的技术方案，这样有助于提升张量计算的整体性能。

在一种可能的实现方式中，该方法还包括：第一处理器确定第一算子的输出张量和第二算子的输出张量的划分规则，并确定与基于划分规则划分得到的每个输出张量块分别具有依赖关系的输入张量块；其中，输入张量块是对算子的输入张量进行划分得到的张量块；第一处理器确定第一算子和第二算子间具有依赖关系的张量块的执行顺序；存储分配规则具体包括：将第一算子的输出张量划分得到的输出张量块存储至存储介质的规则；第二代码还描述了：与第一算子的每个输出张量块分别具有依赖关系的输入张量块、与第二算子的每个输出张量块分别具有依赖关系的输入张量块，以及执行顺序。这样，根据划分规则对张量进行划分，有助于满足第二处理器的块状访存需求，从而有助于提升张量计算的整体性能。

在一种可能的实现方式中，并行线程层次指示对第二处理器上的多个线程进行分组的分组层级。关于并行线程层级的详细解释及示例可以参考下文具体实施方法部分。