[发明专利]一种降低低比特卷积神经网络推理运算复杂度的方法

说明书

本发明提供一种降低低比特卷积神经网络推理运算复杂度的方法，包括S1神经网络训练结束后，利用保存的数据进行量化，假设第i层的量化如下：其中δ_i为激活函数，Q_A为feature map的量化公式,Q_w为权重的量化公式；S2当S1中公式的参数符合条件，量化通过定点数的运算获得：S3从feature map的量化确定阈值：feature map的量化：由feature map的量化公式直接推出阈值为(0.5，1.5…(2^k‑0.5))，其中k是量化的比特位宽；因为阈值之间的距离都是1.0，所以在最终量化时只需保存其中则阈值n∈{0,1…(2^k‑1)}其中k是量化的比特位宽；S4由于量化为低比特时，量化后feature map的数值确定，并且Q_A为均匀量化，所以S2中的通过和一系列阈值(T₁，T₂…T_n)比较获得最终的量化结果。本申请解决低比特模型推理过程计算复杂度和计算资源需求大的问题。

技术领域

本发明涉及神经网络加速技术领域，特别涉及一种降低低比特卷积神经网络推理运算复杂度的方法。

背景技术

近年来，随着科技的飞速发展，大数据时代已经到来。深度学习以深度神经网络(DNN)作为模型，在许多人工智能的关键领域取得了十分显著的成果，如图像识别、增强学习、语义分析等。卷积神经网络(CNN)作为一种典型的DNN结构，能有效提取出图像的隐层特征，并对图像进行准确分类，在近几年的图像识别和检测领域得到了广泛的应用。

特别地，乘移位实现32bit量化为低比特：将量化卷积运算出来的结果保存为32bit整形，然后再根据之前预先计算出来的参数，做乘法和移位操作来实现32bit转低比特。

然而，现有技术中对32bit量化为低比特时，由于需要保证量化后的精度，所以在做量化的过程还需要做一系列的加法和比较运算，这样会大大增加计算复杂度和计算资源特别对于量化到2bit的时候，这种代价往往太大。

此外，现有技术中的常用术语如下：

卷积神经网络(Convolutional Neural Networks,CNN)：是一类包含卷积计算且具有深度结构的前馈神经网络。

量化：量化指将信号的连续取值(或者大量可能的离散取值)近似为有限多个(或较少的)离散值的过程。

低比特：将数据量化为位宽为8bit，4bit或者2bit的数据。

推理：神经网络训练结束后，利用保存的数据进行运算的过程。

发明内容

本申请提出了一种降低低比特卷积神经网络推理运算复杂度的方法，旨在克服上述现有技术中存在的缺陷，解决现有低比特模型推理过程计算复杂度和计算资源需求大的问题。

具体地，本发明提供一种降低低比特卷积神经网络推理运算复杂度的方法，所述方法包括以下步骤：

S1，神经网络训练结束后，利用保存的数据进行量化，

假设第i层的量化如下所示：

其中δ_i为激活函数，Q_A为feature map的量化公式,Q_w为权重的量化公式；

S2，当S1中公式的参数符合以下条件：

1)、用浮点标量缩放的定点数来表示即w_int是用整数表示的定点数；

2)、用浮点标量缩放的定点数来表示即x_int是用整数表示的定点数；