[发明专利]一种定向引导模型剪枝方法、系统、设备及存储介质

说明书

本申请实施例提供一种定向引导模型剪枝方法、系统、设备及存储介质，所述方法包括根据预设定向稀疏加权值获取正则化项；根据预设加权参数和所述正则化项获取范数正则优化项；根据所述范数正则优化项和卷积神经网络的训练损失函数获取目标优化函数；根据所述目标优化函数对深度学习模型进行定向稀疏并剪枝，得到剪枝后的深度学习模型。通过在范数正则优化项中设置预设定向稀疏加权值和预设加权参数来对BN层的γ系数进行具有针对性的稀疏化诱导，进而能够对这些网络层进行更大粒度的诱导压缩，而对于没有被加权稀疏的网络层的裁剪粒度小甚至不裁剪，从而可以根据实际需要进行个性化的深度学习模型的剪枝压缩操作。

技术领域

本申请涉及电学技术领域，具体而言，涉及一种定向引导模型剪枝方法、系统、设备及存储介质。

背景技术

目前，模型压缩是一种对原始模型进行结构或者存储上的优化技术，意在通过压缩技术尽可能的降低模型的冗余性，从结果或者模型的储存上进行优化，压缩的后，应尽可能的保证模型的性能没有出现明显的丢失。目前的方法通常采用全局的方式进行整个模型结构压缩，这样的方式无法根据实际的需求对某些指定的卷积层或者结构进行更大粒度的优化压缩。

发明内容

本申请实施例的目的在于提供一种定向引导模型剪枝方法、系统、设备及存储介质，用以实现在对深度学习模型进行压缩剪枝时，能够对模型中的特定部位或者结构进行更大粒度的诱导压缩。

第一方面，本申请实施例提供了一种定向引导模型剪枝方法，所述方法包括根据预设定向稀疏加权值获取正则化项；根据预设加权参数和所述正则化项获取范数正则优化项；根据所述范数正则优化项和卷积神经网络的训练损失函数获取目标优化函数；根据所述目标优化函数对深度学习模型进行定向稀疏并剪枝，得到剪枝后的深度学习模型。

在上述实现过程中，首先，根据预设定向稀疏加权值计算得到正则化项，该正则化项可以起到稀疏化诱导的作用，然后，通过预设加权参数和上述的正则化项计算得到范数正则优化项，进而根据范数正则优化项和卷积神经网络的训练损失函数计算得到目标优化函数，随后可以利用目标优化函数进行预剪枝训练，对不同的网络层进行定向稀疏诱导，进而进行深度学习模型的剪枝操作，得到剪枝后的深度学习模型，通过加入范数正则优化项的加入，使得能够对模型进行定向的稀疏诱导，从而能够对模型中的特定部位或者结构进行更大粒度的诱导压缩。

进一步地，所述正则化项为：

f(γ)＝u(i)·γ²

其中，u(i)为所述预设定向稀疏加权值，γ为BN层的系数，所述BN层为所述卷积神经网络的归一化层。

在上述实现过程中，正则化项定义为：f(γ)＝u(i)·γ²，可以根据预设定向稀疏加权值与BN层系数γ通过计算得到正则化项，该正则化项起到稀疏化诱导的作用。

进一步地，在所述的根据所述范数正则优化项和卷积神经网络的训练损失函数获取目标优化函数的步骤之前，还包括：获取所述卷积神经网络的训练损失函数。

在上述实现过程中，在进行目标优化函数的计算获取之前，还需要获取卷积神经网络的训练损失函数。

进一步地，所述的获取所述卷积神经网络的训练损失函数的步骤，包括：获取所述卷积神经网络的训练数据集和网络神经元权重；根据所述训练数据集和所述网络神经元权重获取网络预测结果；根据所述训练数据集和所述网络预测结果获取卷积神经网络的训练损失函数。

在上述实现过程中，首先获取卷积神经网络的训练数据集以及网络神经元权重，然后根据上述训练数据集和网络神经元权重通过计算得到网络预测结果，进而再根据训练数据集和计算得到的网络预测结果计算得到卷积神经网络的训练损失函数，从而可以配合范数正则优化项得到目标优化函数以对深度学习模型进行稀疏化诱导的剪枝。

进一步地，所述目标优化函数为：