[发明专利]神经网络的量化方法及装置

说明书

本发明公开了一种神经网络的量化方法及装置，涉及神经网络模型压缩技术领域，解决了神经网络不能根据实际需要自动量化的技术问题，其技术方案要点是通过限定位宽，逐层对网络模型的卷积层的权重进行量化，以获得在相对较小的位宽下能够得到较高的准确率，并且不需要通过训练集对网络模型重新训练，直接在验证集上做验证就可以确定每一层卷积层在不同的位宽下的权重和准确率。并能够根据每个网络模型的特点，自动用更合理的低精度来进行运算，降低了计算位宽，进一步提升了计算效率。

技术领域

本公开涉及神经网络模型压缩技术领域，尤其涉及一种神经网络的量化方法及装置。

背景技术

近年来，随着人工智能技术的不断发展，卷积神经网络(Convolutional NeuralNetworks，CNNs)在人工智能中的应用也是俞渐广泛，尤其是在语音识别、图像分类、目标检测等领域取得了较好的成果。为了追求更好的性能，新提出的卷积神经网络往往具有很深的层数，甚至超过了1000层，权重体积和计算复杂度也随之大大增加，甚至对于GPU(Graphics Processing Unit,图形处理器)而言也是一种挑战。此外，许多现实的应用场景往往只能采用嵌入式或移动设备，存储和计算资源非常有限，不能满足多数卷积神经网络的部署要求。

在传统的神经网络中，都是利用数据集对网络模型进行训练，训练过程即对参数不断更新调整的过程，让参数可以利用网络模型的情况对预测的数据进行处理。早期的设计工程中，对网络模型的训练都是为了提升模型精度，并没有考虑模型大小，因此，传统的训练方法训练出来的模型精度都是32位浮点数，这会导致模型比较大，使得大型规模和计算成本成为在低功耗、资源有限的移动系统中部署算法的主要阻碍。因此，在对神经网络模型进行压缩的同时保证模型精度成为深度学习的一个重要研究方向，对神经网络模型进行压缩的方法有很多，例如，网络剪枝，知识蒸馏，权重稀疏，权重量化等。

研究发现卷积神经网络的权重以及特征图不一定需要被表示为浮点数，即使是使用很低的精度来表示，卷积神经网络的性能也不一定会有明显下降。这说明浮点数模型在精度表示方面存在着很大的冗余，如果能把它去除，那么神经网络模型的体积会进一步得到压缩，并且低精度变量的运算也往往比浮点运算耗费更少的时间。

现有技术中都采用统一的量化精度，例如谷歌提出的量化算法，从32bit浮点数转成低精度8/16bit定点数，事实上可以用一些更低的精度去量化卷积神经网络模型结构和算法，例如2、4、6bit等等，但是如何给出合理比特位是个问题。最简单的量化规则为均匀量化，即量化步长一定、量化值成倍增长的方法。此外，还有许多方法会按照原始权重的分布来制定量化规则，例如先用clamp函数将原始值截断后再量化、取对数再量化、保持分布的量化、满足高斯分布的量化等等。为了消除各层权重分布范围差异的影响，许多算法还会先将各层权重归一化再量化，最后再乘上一个与原始分布范围有关的尺度因子。通过不断改进量化规则，单一精度量化技术可以将神经网络的权重量化得越来越低，甚至已有不少工作尝试将权重二值化(量化值取1和-1)和三值化(量化值取1、0和-1)。

但上述量化方法都是固定位宽量化，不能根据实际情况进行自动量化。

发明内容

本公开提供了一种神经网络的量化方法及装置，其技术目的是改变神经网络的固定位宽量化，使得神经网络根据实际需要进行自动量化。

本公开的上述技术目的是通过以下技术方案得以实现的：

一种神经网络的量化方法，包括：

加载网络模型，从所述网络模型中按照卷积层逐层提取权重W_i，其中，i为自然数；

将验证集投入到所述网络模型的每一层卷积层分别提取特征值，获取特征值的数据范围；

对每一层卷积层的权重W_i进行量化，具体包括：