[发明专利]编译方法、装置、电子设备和存储介质

说明书

本公开涉及一种编译方法、装置、电子设备和存储介质。所述计算机设备包括计算处理装置、接口装置、其他处理装置和存储装置。计算处理装置可以配置成执行用户指定的操作，该计算处理装置可以实现为单核人工智能处理器或者多核人工智能处理器。计算处理装置可以通过接口装置与其他处理装置进行交互，以共同完成用户指定的操作。根据本申请的实施方式，减小了逐个算子优化对其他算子的影响，减少残留可以进行优化的算子，实现优化最大化，从而提高整个网络的运算性能。

技术领域

本公开涉及计算机技术领域，尤其涉及一种编译方法、装置、电子设备和存储介质。

背景技术

在人工智能技术领域，神经网络算法是非常流行的一种机器学习算法，在各种领域中都取得了非常好的效果，比如图像识别，语音识别，自然语言处理等。随着神经网络算法的发展，算法的复杂度也越来越高，为了提高识别度，模型的规模也在逐渐增大。

神经网络中包含一类算子，这类算子的语义中不涉及任何计算逻辑，其输入数据和输出数据不管是数值的数量，亦或是数值本身都没有发生任何变化，这类算子通常是用来对神经网络的计算图中的张量数据的格式、形状以及内存中的排布进行调整，为的是把神经网络上游计算得到的张量数据调整成对下游的计算更好和方便的形式。处理器在运行这类算子的程序代码时将产生大量的数据搬移开销，影响运算性能。

发明内容

有鉴于此，本公开提出了一种编译方法、装置、电子设备和存储介质，减小了逐个算子优化对其他算子的影响，减少残留可以进行优化的算子，实现优化最大化，从而提高整个网络的运算性能。

根据本公开的一方面，提供了一种编译方法，所述方法用于对神经网络对应的程序进行编译，所述方法包括：

提取神经网络的计算图的可优化子图，其中，所述可优化子图中的算子能够被优化；

从最大数据块开始，遍历可优化子图中算子的输入操作数和输出操作数，根据可优化子图中算子的输入操作数和输出操作数构建可优化子图的地址回填有向图；其中，所述最大数据块为可优化子图中张量大小最大的操作数，所述地址回填有向图是用于地址回填的有向图；

根据最大数据块的地址、可优化子图以及地址回填有向图，对可优化子图中算子的操作数进行地址回填。

在一种可能的实现方式中，提取神经网络的计算图的可优化子图，包括：

根据指定算子的输入操作数和输出操作数的关系、以及指定算子的输入操作数与指定算子的输出操作数以及其他指定算子的操作数的关系确定计算图中的可优化算子；

根据计算图中的可优化算子之间的连接关系，用可优化算子构建可优化子图。

在一种可能的实现方式中，根据指定算子的输入操作数和输出操作数的关系、以及指定算子的输入操作数或者输出操作数与其他指定算子的操作数的关系确定计算图中的可优化算子，包括：

若指定算子的输入操作数和输出操作数在内存中摆放的方式一致，并且指定算子的输入操作数能够避免使用两个相邻的操作数的地址进行回填，则所述指定算子为可优化算子。

在一种可能的实现方式中，根据计算图中的可优化算子之间的关系，用可优化算子构建可优化子图，包括：

根据计算图中的可优化算子之间的关系，采用并查集算法构建可优化算子的可优化子图。

在一种可能的实现方式中，从最大数据块开始，遍历可优化子图中算子的输入操作数和输出操作数，根据可优化子图中算子的输入操作数和输出操作数构建可优化子图的地址回填有向图，包括：

在构建可优化子图的地址回填有向图时，以最大数据块为父节点，按照可优化子图中算子的连接顺序，将回填地址时作为依据的操作数确定为父节点、被回填地址的操作数确定为子节点。