[发明专利]神经网络推理方法和系统

说明书

本发明信息处理技术领域的一种神经网络推理方法和系统，方法包括以下步骤：设置神经网络的推理精度阈值；分离量化每层输出特征数据量化参数和每层权重量化参数；对于神经网络中的前后关联层，根据当前层的输出特征数据量化参数更新输入层的输出特征数据量化参数；以所述推理精度阈值为约束条件，根据每层推理浮点值和分离量化后的定点值比对结果，优化输出特征数据量化参数。利用Soc芯片中的协处理器执行每个网络层的定点推理过程。本方案在现有的Soc芯片上实现深度神经网络的推理过程，利用Soc芯片自带的协处理器实现前向推理过程，减少开发周期，节约成本。

技术领域

本发明涉及信息处理技术领域，尤其涉及神经网络推理方法和系统。

背景技术

在智能识别、检测技术领域中，如智能安防领域场景主要涉及检测人脸，人行与车辆车牌常用于报警功能，对产品成本要求，实时性要求，精度要求比较高的情况下，采用轻量级的深度学习模型，现有的Soc芯片上，只需要实现基本的卷积、线性激励函数、下采样、全连接等基本操作。

现有的神经网络在嵌入式Soc芯片上实现方案，一种是基于ASIC定制电路进行实现，但ASIC设计验证周期长，成本高，设计完成后无法更改，灵活性差；另一种是基于FPGA进行深度神经网络嵌入式实现，将Soc与FPGA结合，Soc负责调度，FPGA负责卷积运算，该方案成本过高，编码需FPGA经验。

现有的深度神经网络推理过程中，由于终端设备的算力限制，通常将浮点量化成低精度8bit进行推理，但低精度推理会神经网络精度下降，现有的办法是筛选出神经网络个别层导致精度下降的层，单独提高这些层推理精度，要么利用于深度神经网络的混合精度量化策略确定方法和系统，提出基于现有支持量化方法的硬件，自动筛选合适的混合精度量化，两种方案都要硬件支持不同精度的量化，增加了电路成本。

发明内容

在智能检测领域中，对产品实时性要求，精度要求比较高的需求下，本发明提出了能够兼顾性能和精度要求的神经网络量化方法。

具体通过下述技术方案得以实现：

一种神经网络量化方法，包括以下步骤：

设置神经网络的推理精度阈值；

分离量化每层输出特征数据量化参数和每层权重量化参数；

对于神经网络中的前后关联层，根据当前层的输出特征数据量化参数更新输入层的输出特征数据量化参数；所述关联层为输入、输出特征数据不发生改变的层；

以所述推理精度阈值为约束条件，根据每层推理浮点值和分离量化后的定点值比对结果，优化输出特征数据量化参数。

优选的，分离量化每层权重量化参数的方法包括：

分析每个网络层，按层统计数据的浮点数值，进行量化，获得每层权重量化参数与量化后新的权重文件。

优选的，分离量化每层输出特征数据量化参数的方法包括：

对每层的输出特征数据，按每层统计输出特征数据的浮点数值，进行量化，获得每层输出特征数据量化参数。

优选的，根据每层推理浮点值和分离量化后的定点值比对结果，优化输出特征数据量化参数的具体方法包括：

根据每层输入输出数据，推理出每层第一浮点特征值；

根据分离量化后的量化参数，推理出定点特征值，将所述定点特征值转换成第二浮点特征值，比对所述第一浮点特征值和所述第二浮点特征值，判断是否满足所述推理精度阈值，是则确定量化参数，否则调整输出特征数据的量化参数，保持权重量化参数不变。