[发明专利]一种基于双流网络的剪枝方法

说明书

本发明提出一种基于双流网络的剪枝方法，包括：预设第一神经网络和第二神经网络，将训练样本分别输入所述第一神经网络和所述第二神经网络，通过两神经网络的输出结果之间进行比对，进而调整所述第一神经网络的权重参数，获取神经网络模型；根据所述权重参数对所述神经网络模型进行剪枝处理，并对剪枝后的模型进行训练获取最终模型；本发明通过双流网络结构丰富知识学习深度，可有效提高模型的识别效率。

技术领域

本发明涉及智能识别领域，尤其涉及一种基于双流网络的剪枝方法。

背景技术

近年来，由于深度学习的浪潮，卷积神经网络被广泛应用于各种图像识别领域。这些工作的进展皆得益于深度卷积网络模型在特征提取上的能力，但传统的深度学习模型通常体积巨大，动辄几百M甚至上G。这使得其应用落地时受到很多硬件设备关于存储大小或者计算资源方面的限制。网络剪枝技术可以在满足一定识别率的前提下，得到体积更小的网络模型，对硬件设备有限的场景有着很好的应用前景。在满足一定剪枝率的同时，如何有效的选择更加重要的结构进行保留，从而提升最终网络结构识别率的方法研究就显得十分重要。

发明内容

鉴于以上现有技术存在的问题，本发明提出一种基于双流网络的剪枝方法，主要解决现有神经网络模型复杂度高，应用受限的问题。

为了实现上述目的及其他目的，本发明采用的技术方案如下。

一种基于双流网络的剪枝方法，包括：

预设第一神经网络和第二神经网络，将训练样本分别输入所述第一神经网络和所述第二神经网络，通过两神经网络的输出结果之间进行比对，进而调整所述第一神经网络的权重参数，获取神经网络模型；

根据所述权重参数对所述神经网络模型进行剪枝处理，并对剪枝后的模型进行训练获取最终模型。

可选地，所述第一神经网络的网络层数小于所述第二神经网络的网络层数。

可选地，所述第一神经网络设置有通道重要性选择模块，所述通道重要性选择模块根据调整后的所述权重参数对各通道的特征进行重新分配组合。

可选地，所述第一神经网络和/或所述第二神经网络采用残差网络。

可选地，设置剪枝比例，并根据所述权重参数的大小按所述剪枝比例进行筛选。

可选地，分别获取所述第一神经网络和所述第二神经网络的输出概率分布，根据二者概率分布的散度调整所述第一神经网络的权重参数。

可选地，采用相对熵或交叉熵获取所述第一神经网络与所述第二神经网络输出概率分布之间的散度。

可选地，设置散度阈值，当所述概率分布的散度未达到所述散度阈值时，采用梯度下降法更新所述第一神经网络的所述权重参数。

可选地，通过所述第一神经网络将所述训练样本的输入特征进行全局池化，获取输入特征表示；

将所述输入特征表示接入全连接层并通过激活函数获取每个输入特征对应的权重值；

通过所述通道重要性选择模块将所述权重值馈入对应的所述输入特征，比较每个所述输入特征，获取每个所述输入特征的重要性，并根据所述重要性将对应的所述输入特征进行重新分配组合。

可选地，剪枝比例采用0.1-0.5。

如上所述，本发明一种基于双流网络的剪枝方法，具有以下有益效果。

通过两个神经网络同步训练，并根据结果调整权重参数，提高模型识别的正确性。

附图说明

图1为本发明一实施例中基于双流网络的剪枝方法的流程图。

具体实施方式