[发明专利]量化处理方法和装置、量化处理芯片

权利要求书

1.一种量化处理方法，其特征在于，所述方法包括：

基于神经网络的网络层各通道的网络参数的分布特征，确定用于对所述各通道的网络参数进行量化处理的初始量化参数；

基于预先建立的层量化硬件部署条件，从各通道对应的搜索空间内，搜索各通道对应的优化量化参数，所述通道对应的搜索空间基于所述通道的初始量化参数确定；

基于各通道的优化量化参数确定对各通道的网络参数进行缩放处理的缩放比例；对各通道缩放后的网络参数进行缩放处理，得到缩放网络参数，各通道的缩放网络参数的分布特征相同；将各通道的优化量化参数以及各通道的缩放网络参数发送至量化处理芯片，以使所述量化处理芯片基于各通道的优化量化参数对各通道的缩放网络参数进行量化处理，得到量化缩放网络参数，并基于各通道的缩放比例对所述量化缩放网络参数进行缩放还原处理，得到各通道的量化网络参数，以使所述量化处理芯片基于各通道的优化量化参数对各通道的网络参数进行量化处理，得到各通道的量化网络参数。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从所述神经网络中的BatchNorm层获取所述神经网络的网络层各通道的分布特征。

3.根据权利要求1所述的方法，其特征在于，所述分布特征包括所述网络层每个通道的网络参数的方差，一个通道的初始量化参数等于该通道的网络参数的方差与预设常数的乘积。

4.根据权利要求3所述的方法，其特征在于，所述预设常数与所述网络参数的量化位深以及所述网络参数的分布特征相关。

5.根据权利要求1所述的方法，其特征在于，所述网络层包括卷积层；所述通道的量化网络参数包括所述通道的量化输入参数、量化输出参数以及量化卷积核参数；所述网络层的层量化硬件部署条件为：

所述卷积层各通道的偏差卷积结果与所述通道的偏差量化输出参数的比值相等，所述通道的偏差卷积结果通过对所述通道的偏差量化输入参数与偏差量化卷积核参数进行卷积处理得到；

所述偏差量化输出参数等于量化输出参数与所述量化输出参数之和，所述偏差量化输入参数等于量化输入参数与所述量化输入参数之和，所述偏差量化卷积核参数等于量化卷积核参数与所述量化卷积核参数之和。

6.根据权利要求1所述的方法，其特征在于，所述基于各通道的优化量化参数确定对各通道的网络参数进行缩放处理的缩放比例，包括：

确定各通道的优化量化参数的最大值；

将所述最大值与所述通道的优化量化参数的比值，确定为所述通道的缩放比例。

7.根据权利要求1-6任一所述的方法，其特征在于，所述基于预先建立的层量化硬件部署条件，从各通道对应的搜索空间内，搜索各通道对应的优化量化参数，包括：

按照预设的步长对各通道对应的搜索空间进行搜索，得到目标量化参数；

将符合所述层量化硬件部署条件的目标量化参数确定为所述优化量化参数。

8.根据权利要求7所述的方法，其特征在于，所述将符合所述层量化硬件部署条件的目标量化参数确定为所述优化量化参数，包括：

在符合所述层量化硬件部署条件的目标量化参数的数量大于1的情况下，分别基于各个目标量化参数对所述网络参数进行量化处理，得到目标量化网络参数；

确定所述目标量化网络参数与所述网络参数之间的误差；

将误差最小的目标网络参数对应的目标量化参数确定为所述优化量化参数。