[发明专利]卷积神经网络的修剪方法、装置及存储介质

说明书

本申请公开了一种卷积神经网络的修剪方法、装置及存储介质，属于人工智能领域中计算机视觉技术领域中的神经网络技术领域。卷积神经网络包括多个层，多个层包括一个或多个卷积层，该方法包括：获取卷积神经网络的第n卷积层输出的特征图集合，特征图集合包括多个特征图，第n卷积层为一个或多个卷积层中的任一个，n为正整数；确定特征图集合中的重要特征图和非重要特征图；基于非重要特征图修剪卷积神经网络，得到第n卷积层的下一层的输入，第n卷积层的下一层的输入包括重要特征图。通过在采用卷积神经网络执行深度学习任务时，对重要特征图和非重要特征图进行区分，并仅将重要特征图作为下一层的输入，降低了资源消耗。

技术领域

本申请涉及神经网络技术领域，特别涉及一种卷积神经网络的修剪方法、装置及存储介质。

背景技术

神经网络已经成为解决计算机视觉、语音识别和自然语言处理等深度学习任务的较先进的技术。尽管如此，神经网络算法是计算密集型和存储密集型的，这使得它难以被部署到只有有限硬件资源的设备上。

为了解决这个限制，可以使用深度压缩来显著地减少神经网络所需要的计算和存储需求。例如对于具有全连接层的卷积神经网络，深度压缩可以将模型大小减少若干倍，例如几十倍。基于卷积神经网络(Convolutional Neural Networks，CNN)的深度压缩包括如下几种不同的技术：量化压缩、剪枝、轻量网络设计和知识萃取。

其中，剪枝是指在卷积神经网络训练完成后，将其中的神经元或突触剪去，从而使得神经网络模型得到压缩。但是这种方法剪去的神经元或突触的信息永久丢失，并且得到的模型固定。

发明内容

本申请提供了一种卷积神经网络的修剪方法、装置及存储介质，能够在减少卷积神经网络的计算量的同时，避免信息的丢失，同时实现对于不同样本的的差异性。

第一方面，本申请的至少一实施例提供了一种卷积神经网络的修剪方法，所述卷积神经网络包括多个层，所述多个层包括一个或多个卷积层，所述方法包括：

获取所述卷积神经网络的第n卷积层输出的特征图集合，所述特征图集合包括多个特征图，所述第n卷积层为所述一个或多个卷积层中的任一个，n为正整数；

确定所述特征图集合中的重要特征图和非重要特征图，所述重要特征图对所述卷积神经网络的输出结果的影响大于所述非重要特征图；

基于所述非重要特征图修剪所述卷积神经网络，得到所述第n卷积层的下一层的输入，所述第n卷积层的下一层的输入包括所述重要特征图。

在本申请实施例中，在卷积神经网络工作过程中，通过区分卷积层输出的特征图中的重要特征图和非重要特征图，并在将特征图输出给下一层神经网络时，只输出其中的重要特征图，而非重要特征图对卷积神经网络的输出结果影响较小，所以这样做，不但对输出结果的影响较小甚至不影响输出结果，而且能够大大节省计算。同时，由于该方案是在神经网络使用的过程中进行的操作，不会对神经网络模型的结构产生影响，所以不会丢失这些信息。并且，由于本申请确定的是特征图是否重要，而对于不同的样本而言，神经网络产生的特征图是不一样的，因此对于不同的样本而言，确定出的重要特征图和非重要特征图可以不同，从而使得该方案对于不同样本修剪掉的特征图不同，也即对于不同的样本具有差异性。

可选地，所述确定所述特征图集合中的重要特征图和非重要特征图，包括：

计算所述第n卷积层的每个特征图的L2范数；

若第一特征图的L2范数小于所述第n卷积层的第一阈值，则确定所述第一特征图为所述非重要特征图；若第一特征图的L2范数大于或等于所述第一阈值，则确定所述第一特征图为所述重要特征图，所述第一特征图为所述特征图集合中的任一特征图。