[发明专利]卷积神经网络量化处理方法、装置及计算机设备

说明书

本申请提供了一种卷积神经网络量化处理方法、装置及计算机设备，本申请采用双精度量化处理方法，来提高量化后的准确率，具体的，获取卷积神经网络中卷积层的最大权值及最大偏差量，分别计算最大权值的动态比特位精度值，及最大偏差量的动态比特位精度值，之后，利用这两个动态比特位精度值实现卷积计算，由于本申请从卷积层的权值和偏差值两方面进行量化，避免了单精度量化，容易导致权值或偏差值精度损失，影响量化准确性的情况发生。

技术领域

本申请主要涉及神经网络应用领域，更具体地说是涉及一种卷积神经网络量化处理方法、装置及计算机设备。

背景技术

近年来，AI(Artificial Intelligence，人工智能)的应用已经渗透到很多方面，如人脸识别、游戏对战、图像处理、仿真模拟等等，虽然提高了处理准确性，但由于神经网络包含很多层和大量参数，需要非常大的计算代价和存储空间。

对此，技术人员提出了神经网络压缩处理方案，即通过改变网络结构或利用量化、近似的方法来减少网络的参数或存储空间，在不大影响神经网络性能的情况下，降低网络代价和存储空间。

其中，量化的压缩方法是将原本具有无限种可能的网络参数，约束到少数几种网络参数中，再对这些网络参数进行重用，达到减少网络存储开销的目的。然而，目前神经网络的量化是采用预设的精度值，同时对卷积层的权值和偏差值进行量化，往往无法兼顾权值和偏差值这两个精度要求，会使得量化后的偏差量或权值精度损失较大，导致量化准确性较低。

发明内容

有鉴于此，本申请提供了一种卷积神经网络量化处理方法、装置及计算机设备，采用双精度量化方式，分别实现了对各卷积层的权值和偏差值的量化，同时满足了卷积层的权值和偏差值这两个参数的精度要求，提高了量化准确性。

为了实现上述发明目的，本申请提供了以下技术方案：

本申请提供了一种卷积神经网络量化处理方法，所述方法包括

获取卷积神经网络中各卷积层的最大权值及最大偏差量；

计算所述最大权值的第一动态比特位精度值，及最大偏差量的第二动态比特位精度值，所述第一动态比特位精度值与所述第二动态比特位精度值不同；

利用各卷积层对应的所述第一动态比特位精度值和所述第二动态比特位精度值，对相应卷积层的权值和偏差量进行量化；

基于各卷积层中量化后的权值及量化后的偏差量，得到所述卷积神经网络的卷积结果。

可选的，所述利用各卷积层对应的所述第一动态比特位精度值和所述第二动态比特位精度值，对相应卷积层的权值和偏差量进行量化，包括：

按照浮点数-定点数转换规则，以所述第一动态比特精度值为阶码，将相应卷积层中的浮点数格式的各权值转换为定点数格式的权值；

按照所述浮点数-定点数转换规则，以所述第二动态比特精度值为阶码，将相应卷积层中的浮点数格式的各偏差值转换为定点数格式的偏差值。

可选的，所述基于各卷积层中量化后的权值及量化后的偏差量，得到所述卷积神经网络的卷积结果，包括：

基于所述第一动态比特位精度值，对相应卷积层中量化后的各权值进行移位处理，并基于所述第二动态比特位精度值，对相应卷积层中量化后的各偏差量进行移位处理；

对各层卷积层中移位处理后的权值求和，得到相应卷积层的总权值，并对各层卷积层中移位处理后的偏差值进行求和，得到相应卷积层的总偏差值；

对同一层卷积层的总权值和总偏差值进行求和，得到相应卷积层的卷积结果。

可选的，所述基于所述第一动态比特位精度值，对相应卷积层中量化后的各权值进行移位处理，包括：