[发明专利]神经网络推理方法和系统

权利要求书

1.一种神经网络推理方法，其特征在于，通过Soc芯片的主处理器调用根据神经网络量化方法优化的神经网络制作的优化模型文件，通过所述Soc芯片自带的协处理器推进执行优化模型文件的网络层的定点推理过程；

所述神经网络量化方法，包括以下步骤：

设置神经网络的推理精度阈值；

分离量化每层输出特征数据量化参数和每层权重量化参数；

对于神经网络中的前后关联层，根据当前层的输出特征数据量化参数更新输入层的输出特征数据量化参数；所述关联层为输入、输出特征数据不发生改变的层；

以所述推理精度阈值为约束条件，根据每层推理浮点值和分离量化后的定点值比对结果，优化输出特征数据量化参数；

优化输出特征数据量化参数的方法包括：根据每层输入输出数据，推理出每层第一浮点特征值；

根据分离量化后的量化参数，推理出定点特征值，将所述定点特征值转换成第二浮点特征值，比对所述第一浮点特征值和所述第二浮点特征值，判断是否满足所述推理精度阈值，是则确定量化参数，否则调整输出特征数据的量化参数，保持权重量化参数不变。

2.根据权利要求1所述的神经网络推理方法，其特征在于，分离量化每层权重量化参数的方法包括：

分析每个网络层，按层统计数据的浮点数值，进行量化，获得每层权重量化参数与量化后新的权重文件。

3.根据权利要求1所述的神经网络推理方法，其特征在于，分离量化每层输出特征数据量化参数的方法包括：

对每层的输出特征数据，按每层统计输出特征数据的浮点数值，进行量化，获得每层输出特征数据量化参数。

4.根据权利要求1所述的神经网络推理方法，其特征在于，所述根据当前层的输出特征数据量化参数更新输入层的输出特征数据量化参数，具体包括：识别关联层，以当前关联层的输出特征数据量化参数更新当前关联层的输入层的输出特征量化参数，使关联层和其输入层的输出特征量化参数保持一致。

5.根据权利要求1所述的神经网络推理方法，其特征在于，所述优化输出特征数据量化参数的方法包括：将卷积内部乘加运算后的结果位宽设置为累乘加后结果不超过位宽的最大限制范围，以所述推理精度阈值为约束条件，根据每层推理浮点值和分离量化后的定点值比对结果，逐步降低位宽提高性能。

6.根据权利要求1所述的神经网络推理方法，其特征在于，通过所述Soc芯片自带的协处理器推进执行优化模型文件的网络层的定点推理过程的方法，具体包括：

非线性的网络层使用高级语言执行，其他网络层采用 neon指令执行前向推理过程。

7.一种神经网络推理系统，其特征在于，包括服务器和Soc芯片，所述服务器包括存储单元和处理单元，所述Soc芯片包括主处理器和协处理器，

所述处理单元，用于通过权利要求1所述的神经网络量化方法优化原始模型文件，形成优化模型文件；

所述存储单元，用于存储所述优化模型文件；

所述主处理器，用于调用所述优化模型文件；

所述协处理器，用于执行每个网络层的定点推理过程。