[发明专利]用于专用加速器的神经网络预编译算法

权利要求书

1.一种用于专用加速器的神经网络预编译算法，其特征在于，具体步骤为：

步骤1，使用有向图对各种神经网络进行建模；具体地，神经网络的算子使用图节点表示，所述算子包括：输入，全连接，卷积，归一化层，偏置层，激活函数层，向量乘，向量加等算子；神经网络的输入输出关系使用有向边表示：一个算子的入边表示其输入来源，出边表示其输出方向；

步骤2，针对神经网络进行预处理，包括：算子融合，合并算子拆解，大节点分解，小节点合并；

步骤3，按照专用加速器的静态随机存储器的大小，对经过步骤2预处理的有向图进行分割，使得每个计算图可以直接编译到专用加速器上运行。

2.根据权利要求1所述的神经网络预编译算法，其特征在于，步骤2中所述的算子融合，是对有向图中可以进行算子融合的节点进行权重融合；这些算子包括批量归一化节点、偏置节点；

对于批量归一化节点，将其放缩参数融入到前一个节点的权重中，融入方法为相乘；

对于偏置节点，将其缩放参数融入到前一个节点的偏置中，融入方法为相加。

3.根据权利要求1所述的神经网络预编译算法，其特征在于，步骤2中所述的合并算子拆解，是对于合并算子之前的算子，从输出维度上进行分解，成为两个计算节点，将这两个计算节点的结果进行向量加；在进行拆解之后，删除合并算子。

4.根据权利要求1所述的神经网络预编译算法，其特征在于，步骤2中所述的大节点分解，是对于专用加速器无法放下的大节点，将其分解为多个小节点。

5.根据权利要求4所述的神经网络预编译算法，其特征在于，步骤2中所述的大节点分解，其分解包含输入维度和输出维度的分解。

6.根据权利要求5所述的神经网络预编译算法，其特征在于，步骤2中所述大节点，包括卷积算子、全连接算子。

7.根据权利要求1所述的神经网络预编译算法，其特征在于，步骤2中所述的小节点合并，是对于神经网络中可以合并的小节点，将其合并为大节点。

8.根据权利要求7所述的神经网络预编译算法，其特征在于，步骤2中所述小节点，节点类型包含卷积算子、全连接算子。

9.根据权利要求7所述的神经网络预编译算法，其特征在于，步骤2中所述小节点，是指节点的参数量远小于专用加速器的片上缓存空间；所述大节点，是指节点的参数量不超过专用加速器的片上缓存空间。