[发明专利]一种深度神经网络的压缩方法

说明书

本发明公开一种深度神经网络的压缩方法，包括步骤：网络参数修剪：通过剪枝来修剪网络，删除冗余连接，保留信息量最大的连接；训练量化和权值共享：对权重进行量化，使多个连接共享相同的权重，并存储有效权重和索引；利用有效权值的偏置分布，使用霍夫曼编码获取压缩网络。本发明通过修改剪枝和权重共享等方式，提高压缩后网络的精度，大大减少了计算内存空间，大大提高了运行速度；从而有效减少大型网络的计算量和内存，以便它们可以在有限的硬件设备上有效运行。

技术领域

本发明属于神经网络优化技术领域，特别是涉及一种深度神经网络的压缩方法。

背景技术

深度神经网络存在海量的权重，会占用较大的存储和内存带宽。由于网络巨大，运行严重依赖于高性能显卡，这使得模型的运算和普及受到极大限制，从而导致大规模网络计算硬件开销过大。因此对于深度神经网络的压缩则成为了亟待解决的问题；目前的神经网络压缩方法虽然可以对网络进行一定量的压缩，多采用剪枝方式进行压缩。

传统的剪枝方法是对网络权重进行修剪，即在保持准确性的同时削减权重来减少CNN模型的大小。具体来说，就是将一些权重低于阈值的连接从网络中删除，然后重新训练这个经过剪枝的稀疏连接网络，得到稀疏连接的最终权重。但是这种方法仅考虑是否独立修剪每个权重，不考虑权重之间的相关性。因此，限制了可实现的压缩比，压缩精度低且压缩效果差。

发明内容

为了解决上述问题，本发明提出了一种深度神经网络的压缩方法，通过修改剪枝和权重共享等方式，提高压缩后网络的精度，大大减少了计算内存空间，大大提高了运行速度；从而有效减少大型网络的计算量和内存，以便它们可以在有限的硬件设备上有效运行。

为达到上述目的，本发明采用的技术方案是：一种深度神经网络的压缩方法，包括步骤：

S100，网络参数修剪：通过剪枝来修剪网络，删除冗余连接，保留信息量最大的连接；

S200，训练量化和权值共享：对权重进行量化，使多个连接共享相同的权重，并存储有效权重和索引；

S300，利用有效权值的偏置分布，使用霍夫曼编码获取压缩网络。

进一步的是，在所述步骤S100中网络参数修剪，包括步骤：

S101，在权重剪枝的基础上，引入能量函数修剪卷积层；

S102，恢复误差大的权重；

S103，通过反向传播利用修剪后的权重微调网络。从而实现更高的压缩比以及压缩后网络的精度。

进一步的是所述步骤S101中，所述能量函数修剪卷积层，包括步骤：

使用能量函数计算特征图能量；

并根据各个卷积层的能量排序确定各卷积层的修剪顺序；

修剪掉能量最多的卷积层，从而达到更高的压缩比和能量减少；

其中，对于网络的卷积层，将卷积运算转换为矩阵乘法运算，将输入特征映射转换为托普利兹矩阵，并计算输出特征映射；

对于网络的全连接层，输出的第i个特征图为Y_i＝X_iA_i+B_il；其中，A_i为全连接层的第i个滤波器，X_i为全连接层输入的特征图，B_i为全连接层的第i个偏置，l为元素全为1的向量；

通过所述全能量函数为：获得特征图Y_i的能量。

进一步的是，由于修剪掉卷积层后，使用传统的阈值法则修剪掉权值，此时网络已经达到一定的压缩比，但影响到了网络的准确度；为此通过专注于最小化输出特征映射的误差来恢复指定权重，从而保证网络的精度；