[发明专利]基于灵敏度剪枝及量化压缩神经网络的方法与介质

说明书

本发明提出一种基于灵敏度剪枝及量化压缩神经网络的方法，其中方法包括：基于灵敏度对神经网络剪枝；基于K‑Means++算法计算每一层神经网络的聚类中心，用聚类中心表示各层神经网络的权重值；量化网络。本发明方法通过网络修剪、基于K‑Means++的权值共享和权值量化三步，深度神经网络实现了可观的压缩。虽然压缩率方面还有待提高，但是压缩之后的模型已经足够小，这使得深度神经网络在移动端上的部署变为可能。

技术领域

本发明属于计算机人工智能压缩网络模型技术领域，主要涉及一种基于灵敏度剪枝及量化压缩神经网络方法与介质。

背景技术

深度神经网络在从计算机视觉到语音识别和自然语言处理的应用中变得普遍存在。而这些大型的深度神经网络非常强大，但它们的大小消耗了相当大的存储空间，内存带宽和计算资源。对于嵌入式移动应用设备，这些资源需求变得越来越高。

深度网络压缩模型大致可以分为两类，第一类是在已经训练好的模型上做修改，通过减少冗余的参数，再进行fine-tuning，从而降低网络的存储且不损失原来的准确率。第二类是提出新的卷积计算方式，从而减少参数，达到压缩模型的效果。主要的方法大致可以分为如下几类：

(1)网络剪枝：降低网络参数的复杂度和过拟合现象；

(2)网络量化：减少深度学习模型的冗余问题；

(3)矩阵分解：减少模型中参数的冗余，避免计算和存储的浪费。

基于以上研究现状，剪枝、量化和矩阵分解是深度神经网络压缩的主要三个方法。目前的研究主要针对深度卷积神经网络的全连接层进行的一系列的压缩，但压缩率不高，且对卷积层没有进行剪枝。而且在卷积网络的剪枝中仍存在以下两个的问题：剪枝过程可能会不同程度的删除错误权重；学习过程比较缓慢，所占的内存开销依旧很大。

引证文献：

[1]Han S,Mao H,Dally W J.Deep Compression:Compressing Deep NeuralNetworks with Pruning,TrainedQuantization and Huffman Coding[J].InternationalConference on LearningRepresentations,2016,56(4):3-7。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于灵敏度剪枝及量化压缩神经网络方法。

本发明还提出一种实施上述方法的计算机可读存储介质。

根据本发明的第一方面实施例的一种基于灵敏度剪枝及量化压缩神经网络方法，包括以下步骤：

S100、输入神经网络，基于灵敏度对所述神经网络进行剪枝，存储剪枝后的神经网络；S200、训练所述剪枝后的神经网络，然后返回S100，直到所述剪枝后的神经网络的精度变化处于设定范围内；S300、基于K-means++算法计算所述剪枝后的神经网络每一层权值的聚类中心，用得到的聚类中心来表示所述剪枝后的神经网络的各层权重值；S400、量化所述剪枝后的神经网络并输出量化后的神经网络。

根据本发明的一些实施例，所述S100包括：S110、计算每个输入节点对于整个神经网络的灵敏度；S120、对每个输入节点的灵敏度求其各对应分量的平均值，作为平均灵敏度；S130、将低于所述平均灵敏度的最小分量值的对应输入节点删除。

根据本发明的一些实施例，所述S100还包括：S140、将所述剪枝后的神经网络的权值按行存储CSR的格式存储。

根据本发明的一些实施例，所述S200包括：采用全局训练的方式，将剪枝之后的参数作为下一次训练的初始参数，进行所有参数的更新和微调。