[发明专利]一种深度神经网络的量化方法及装置

说明书

本发明公开了一种深度神经网络的量化方法，包括：针对深度神经网络待量化的网络层，进行量化初始化；根据量化模式，对待量化网络层的权值进行量化操作；根据量化后的权值进行网络的迭代训练，并更新权值直到深度神经网络收敛。本发明的方法，包括二值化、三值化等可选模式，以一种机制来对权值进行量化，然后，在迭代训练过程中，不断更新量化权值，直至满足目标任务准确度的要求，最后得到的模型可用于多个平台，相对于原始模型，在准确率相当的前提下，速度更快，模型更小。本发明的方法克服了深度网络对于计算资源、存储的巨大消耗，在针对目标任务性能的同时，提高深度神经网络的加速比与压缩率。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种深度神经网络的量化方法及装置。

背景技术

近年来，随着人工智能突飞猛进的发展，深度学习的应用也是越来越广泛，特别是在图像分类、目标检测、语音处理、自然语言处理等众多领域取得了巨大的进展，显著的提高了机器学习在不同领域内的应用前景，并且在性能上的提升也是与目共睹的。

深度神经网络的学习过程，是需要大量的原始数据，不断的迭代更新网络参数，以达到目标任务的需求。一般来说，大容量、高复杂度的网络可以更为深入和全面的对原始数据进行学习，从而可以取得一个更好的性能指标，相对于传统的学习方法，深度神经网络具备更好的应用前景，同时，更能满足高目标任务的需求。但是，在得到高性能的结果时，需要消耗的时大量的计算资源和存储空间，同时，还要花费更久的时间。因此，深度神经网络的加速和压缩问题变得至关重要，特别是针对嵌入式设备、集成设备、以及大规模的数据处理中心上面的应用需求。

针对深度神经网络的压缩和加速，已经有一些有效的方法，比如剪枝、蒸馏、量化等方法，但是，这些方法并不能适用于所有的深度神经网络，而常规的量化方法并没有兼顾准确率和速度的需求，那么，如何设计一种能保证网络模型高精度的前提下，还能够更快的完成运算的方法是值得进一步研究的。

发明内容

针对上述问题，本发明提出了一种深度神经网络的量化方法及装置，用于克服深度神经网络对于计算资源、存储的巨大消耗，在针对目标任务性能的同时，能更有效的提高深度神经网络的加速比与压缩率。本发明通过以下技术方案来实现上述目的：

一种深度神经网络的量化方法，包括：

针对深度神经网络待量化的网络层，进行量化初始化；

根据量化模式，对待量化网络层的权值进行量化操作；

根据量化后的权值进行网络的迭代训练，并更新权值直到深度神经网络收敛。

具体为：针对所用的深度神经网络，一般需要量化的网络层是指计算量较大的网络层，比如卷积层、池化层等，对于待量化网络层每个通道内的权重分别求取均值；上述的待量化网络层权值均值的计算具体步骤如下：

A1.分别求取每个通道内权值绝对值的累加和；

A2.每个通道的权值均值的计算方法是：对应通道的权值绝对值的累加和除以当前通道权重的个数；

在三种量化模式中选择一种，一般选择的依据是根据目标任务的要求来确定，然后，根据对应权值的大小，量化到指定值。

当完成权值的量化操作后，对应网络层的计算采用量化后的权值，并且，通过神经网络反向传播计算的方式，不断迭代更新量化后的权值，直至网络训练到收敛。

进一步方案为，所述的量化初始化是计算待量化网络层的每个通道的权值均值。

进一步方案为，所述的每个通道权值均值的计算方法为：

首先求取所有|w_i|的累加和，然后在每个通道内，根据当前通道权值的个数Size求平均值。