[发明专利]基于稀疏卷积神经网络的模型压缩方法、系统及相关设备

说明书

本发明涉及深度学习技术领域，具体涉及一种基于稀疏卷积神经网络的模型压缩方法、系统及相关设备，旨在减轻模型对资源的占用。本发明的压缩方法包括：对模型进行稀疏正则化训练得到待压缩模型；根据待压缩模型各卷积层与BN层的参数，计算各滤波器的重要性评分；根据重要性评分以及预设的剪枝率设定重要性阈值；将重要性评分低于重要性阈值的滤波器，以及该滤波器对应的BN层参数一并剪除，获得剪枝后的模型。还可以对剪枝后的模型进行微调，以保证模型精度不低于预设的精度。本发明在不影响模型性能的前提下，实现了对模型参数量与计算量的大幅压缩，可以很好地减轻模型对资源的占用问题，使得深度学习模型能在资源受限的边缘计算设备上运行。

技术领域

本发明涉及深度学习技术领域，具体涉及一种基于稀疏卷积神经网络的模型压缩方法、系统及相关设备。

背景技术

深度学习如今迅速发展，在计算机视觉、语音识别、自然语言处理、自动驾驶等领域获得广泛应用，并且在移动端与嵌入式系统的边缘设备上有巨大的应用前景。

随着深度神经网络模型规模不断变大，训练和运行深度学习模型需要强大的计算能力和大量的数据存储空间，而边缘设备的存储空间与计算能力有限，这使得深度学习模型在资源受限的边缘设备上难以运行。因此，如何去除模型中多余的参数，且保证模型精度是目前需要解决的问题。

有鉴于此，特提出本发明。

发明内容

为了解决现有技术中的上述问题，本发明提出了一种基于稀疏卷积神经网络的模型压缩方法、系统及相关设备，在保证模型效果的前提下，压缩了神经网络模型，解决了模型参数量与计算量过大，难以在资源受限的边缘设备上运行的问题。

本发明的第一方面，提出一种基于稀疏卷积神经网络的模型压缩方法，所述方法包括：

通过对模型进行稀疏正则化训练，得到待压缩模型；

根据所述待压缩模型各卷积层与BN层的参数，计算各滤波器的重要性评分；

根据所述重要性评分以及预设的剪枝率设定重要性阈值；

将所述重要性评分低于所述重要性阈值的滤波器，以及该滤波器对应的BN层参数一并剪除，获得剪枝后的模型。

优选地，“通过对模型进行稀疏正则化训练，得到待压缩模型”的步骤包括：

通过下式在损失函数中添加惩罚因子：

L′＝L+λR(X)

其中，L′是添加惩罚因子的损失函数，L是原损失函数，λR(X为添加的惩罚因子，λ是正则化系数，R(·)表示正则化范数，X表示卷积核的权重或BN层的缩放系数α，对于卷积核W＝{w₁，w₂，...，w_m}，m为卷积核W中权重参数w的数目；对于缩放系数α，R(α)＝|α|。

优选地，对所述模型进行稀疏正则化训练时，在向后传播过程中通过下式对上一层权重X对应的输出梯度g_X作为输入梯度进行稀疏正则化处理：

g′_X＝g_X+λsign(X)

其中，g′_X是稀疏化处理后梯度，λ是正则化系数，sign(·)是符号函数，对梯度g_X对应的权重X的符号进行判断，在X0，X＝0，X0时分别取-1，0，1；

所述上一层为卷积层或BN层，所述梯度为卷积层中各滤波器中卷积核权重的梯度或BN层中各缩放系数的梯度。

优选地，“根据所述待压缩模型各卷积层与BN层的参数，计算各滤波器的重要性评分”的步骤包括：

按照下式的方法对第n个滤波器的权重进行绝对值求和：