[发明专利]一种神经网络压缩方法与装置

说明书

本发明公开了一种神经网络压缩方法与装置，包括：对用于处理特征值的神经网络执行模型裁剪，以得到稀疏网络；以将稀疏网络中的网络参数的精度压缩到不超过特征值的精度的方式，对稀疏网络执行权重量化，以得到可用网络；使用可用网络以整数移位计算方式处理特征值。本发明的技术方案能够针对不同神经网络或不同类型的神经网络在基本不影响计算精度的前提下执行压缩，降低神经网络的时间和空间计算复杂度，缩短工作用时和减少占用的存储空间，便于移植到移动设备和嵌入式设备。

技术领域

本发明涉及深度学习领域，并且更具体地，特别是涉及一种神经网络压缩方法与装置。

背景技术

近年来随着深度学习技术的快速发展，实际应用中需要处理和识别大量数据集，所以对深度学习模型的的精度要求越来越高。CNN(卷积神经网络)在计算机视觉领域(在图像分类、目标检测、语义分割等方向)发挥着重要的作用。为了达到更好的识别效果和处理更加复杂的任务，神经网络模型层数越来越深，例如对于ImageNet竞赛的冠军模型AlexNet、GoogLeNet、ResNets等，模型层数由8层提高到了100多层，对于110层的ReNet，有高达1.7Milloin的模型参数及近200MB的存储空间需求，大规模的参数导致的结果是模型对于硬件设备的浮点(或整数)乘法资源(乘法计算占整个神经网络计算90％以上的计算量)、存储资源的要求越来越高，这使得它难以被部署到资源有限的移动端和嵌入式系统上，极大限制了深度学习产品在移动端、嵌入式设备上的发展。

针对现有技术中神经网络的时间和空间计算复杂度高的问题，目前尚未有有效的解决方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种神经网络压缩方法与装置，能够针对不同神经网络或不同类型的神经网络在基本不影响计算精度的前提下执行压缩，降低神经网络的时间和空间计算复杂度，缩短工作用时和减少占用的存储空间，便于移植到移动设备和嵌入式设备。

基于上述目的，本发明实施例的一方面提供了一种神经网络压缩方法，包括以下步骤：

对用于处理特征值的神经网络执行模型裁剪，以得到稀疏网络；

以将稀疏网络中的网络参数的精度压缩到不超过特征值的精度的方式，对稀疏网络执行权重量化，以得到可用网络；

使用可用网络以整数移位计算方式处理特征值。

在一些实施方式中，对用于处理特征值的神经网络执行模型裁剪，以得到稀疏网络包括：

训练神经网络，获得神经网络的层间各神经元的连接权重作为网络参数；

裁剪掉连接权重值低于指定阈值的连接，使得神经网络具有稀疏结构；

重新训练稀疏结构，获得稀疏网络。

在一些实施方式中，对稀疏网络执行权重量化，以得到可用网络包括：

将稀疏网络中作为网络参数的连接权重聚类为量化权重组和重训练权重组；

将量化权重组中的连接权重根据网络参数的精度而量化为2的整数次幂或0；

通过仅修改重训练权重组中的网络参数且不修改量化权重组中的网络参数，重新训练量化后的稀疏网络，以获得可用网络。

在一些实施方式中，将量化权重组中的连接权重根据网络参数的精度而量化为2的整数次幂或0包括：

确定一个不超过特征值的精度的网络参数的精度；

基于网络参数的精度生成量化集合，量化集合中包括0、(网络参数的精度位数的平方-2)/2个连续的2的正整数次幂、和与该连续的2的正整数次幂分别相对应的连续的2的负整数次幂；

将量化权重组中的每个连接权重分别量化为量化集合中与连接权重最接近的数值。