[发明专利]用于专用加速器的神经网络预编译算法

说明书

本发明属神经网络技术领域，具体为用于专用加速器的神经网络预编译算法。本发明算法包括：使用有向图对各种神经网络进行建模，神经网络的算子使用图节点表示，神经网络的输入输出关系使用有向边表示：对神经网络进行预处理，包括算子融合、合并算子拆解、大节点分解、小节点合并；按照专用加速器的静态随机存储器的大小，对经过预处理的有向图进行分割，使得每个计算图可以直接编译到专用加速器上运行。本发明通过将神经网络使用图来表示，经过对各种节点的预编译处理，使得计算图达到更适合映射到硬件的形式，实现硬件的加速效果最大化以及硬件的功耗最小化。

技术领域

本发明属神经网络技术领域，具体涉及用于专用加速器的神经网络预编译算法。

背景技术

近年来，由于神经网络在众多应用上的优异表现，其终端应用成了学术和市场都很热门的一个话题。而终端所需要的低功耗引发了神经网络专用芯片的发展。但是专用芯片存在其限制性，第一个限制是逻辑简单规整。这与神经网络的多变性产生了矛盾，因此，对于专用芯片无法处理的不规整神经网络层，需要通过预处理的方法进行一些转换。第二个限制是片上资源有限，在这种情况下，一个大的神经网络层难以直接迁移到芯片上进行计算，对于此类网络层也需要进行预处理。另外，预编译时某些节点也可以通过对计算图的一些处理增加其计算效率。因此，急需一个完整的针对神经网络的预编译算法，来进行神经网络和加速器之间的桥接，以提高专用加速器的计算效率和降低专用加速器的功耗。

发明内容

本发明的目的是提供一种计算效率高、功耗低的专用加速器的神经网络预编译算法。

本发明提供的用于专用加速器的神经网络预编译算法，具体步骤为：

步骤1，使用有向图对各种神经网络进行建模；具体地，神经网络的算子使用图节点表示，所述算子包括：输入，全连接，卷积，归一化层，偏置层，激活函数层，向量乘，向量加等算子；神经网络的输入输出关系使用有向边表示：一个算子的入边表示其输入来源，出边表示其输出方向；

步骤2，针对神经网络进行预处理，包括：算子融合，合并算子拆解，大节点分解，小节点合并等；

步骤3，按照专用加速器的静态随机存储器的大小，对经过步骤2预处理的有向图进行分割，使得每个计算图可以直接编译到专用加速器上运行。

本发明步骤2中所述的算子融合，是对有向图中可以进行算子融合的节点进行权重融合；这些算子包含但不限于批量归一化节点，偏置节点。

对于批量归一化节点，将其放缩参数融入到前一个节点的权重中，融入方法为相乘；偏置节点，将其偏置参数融入到上一节点的偏置中，融入方法为相加。

对于偏置节点，将其缩放参数融入到前一个节点的偏置中，融入方法为相加。

步骤2中所述的合并算子拆解，是对于合并算子之前的算子，从输出维度上进行分解，成为两个计算节点，将这两个计算节点的结果进行向量加。

所述合并算子拆解，在进行拆解之后，合并算子将被删除。

步骤2中所述的大节点分解，是对于专用加速器无法放下的大节点，将其分解为多个小节点。

所述的大节点，包含但不限于卷积算子、全连接算子等。

所述的大节点分解，其分解包含输入维度和输出维度的分解。

步骤2中所述的小节点合并，是对于神经网络中可以合并的小节点，将其合并为大节点。

所述小节点，是指节点的参数量远小于专用加速器的片上缓存空间。

所述大节点，是指节点的参数量不超过专用加速器的片上缓存空间。

所述小节点，节点类型包含但不限于卷积算子、全连接算子等。