[发明专利]一种基于熵重要性准则模型的卷积核裁剪方法

说明书

本发明属于神经网络技术领域，涉及一种基于熵重要性准则模型的卷积核裁剪方法。本发明为了让参数量大、计算量大且性能优越的卷积神经网络模型能够满足在现实应用中的实时性要求，提出了一种基于熵重要性准则模型卷积核裁剪方法，通过对每个卷积层的激活通道求图像熵的方式作为评估对应卷积核重要性的准则来裁剪信息量少的卷积核，从而得到了一个性能优异、参数量以及计算量少的小模型，该小模型不仅有性能优势且能够满足现实场景应用的实时性以及精度需求。

技术领域

本发明属于神经网络技术领域，涉及一种基于熵重要性准则模型卷积核裁剪方法。

背景技术

近几年来，卷积神经网络的发展非常的迅速，随着理论的不断完善以及现代大规模计算平台的支持，卷积神经网络取得了很大的进步。在不同的领域上都有应用，且在不同的应用上都表现出了非常好的性能。相比传统的提取特征的方法，卷积神经网络作为一种层级的特征提取器，提取的特征更加的多样化且更加抽象，弥补了传统方法手动提取的特征不足的问题。卷积神经网络提取的特征的多样性以及抽象性，使卷积神经网络能够贴合很多的应用，应用在分类任务、分割任务、检测任务等广泛的应用中。在工程上应用的性能的优势表现，也促成了卷积神经网络的广泛的应用和研究。

卷积神经网络是计算密集型的网络模型，优势的性能依赖于包含具有成百上千万参数的网络模型，模型的训练涉及大量的矩阵运算，因此对于计算平台的要求较高，由于GPU的大规模并行计算的优势，GPU的高性能计算对于卷积神经网络的成功发展起到了关键的作用。例如，在2012年的ImageNet挑战赛中，AlexNet网络取得了最好的结果，AlexNet包含5层卷积层以及三个全连接层，整体包含六千万的参数量，在ImageNet数据集上且采用英伟达K40机器需要花三天模型训练时间。又比如在2014年的ImageNet挑战赛中，VGGNet系列模型取得了当年非常好的成绩，其中如VGG16模型，其中包含13层卷积，3个全连接层，包含上亿的参数，参数量的巨大，虽然性能提升了，需要花费大量的训练时间，同样推断时间也会花费很长的时间。模型的参数量的增加虽然能够增加性能，但是不适合在低功耗、低存储、低带宽的嵌入式设备应用，如果一个模型参数量太大，无疑也会限制其在工程上的应用。为了弥补这一缺陷，后期提出的一些网络尽可能的考虑网络的性能的同时也会考虑网络的参数量和计算量的大小。

发明内容

针对上述存在的问题或不足，为了克服由于卷积神经网络模型参数量、计算量庞大，不能应用在实时性要求高的场景的问题。本发明提供了一种基于熵重要性准则模型卷积核裁剪方法，通过计算图像熵的方法对卷积核的信息量进行分析，对冗余的卷积神经网络结构进行剪枝操作，从而实现模型压缩与加速。本发明由以下步骤构成，本发明的算法原理图见附图1.

S1、获取训练样本：采集原始的光学图像数据，并进行数据归一化以及数据增强处理，获得训练样本；

S2、构建卷积神经网络模型：

构建一个由卷积滤波器与池化滤波器级联而成的卷积神经网络，卷积滤波器用于对输入数据进行特征提取，卷积滤波器的数量表示提取的特征的数量；池化滤波器用于对输入数据进行降维，构建的卷积神经网络将具有参数量大且在当前实际应用中有好的性能体现。

S3、卷积神经网络模型训练：

S31、参数初始化，包括学习率α、总的裁剪次数为n，每次裁剪后对当前模型微调训练迭代次数为m，Mini-batch大小M，阈值T₁，T₂，T₃，T₄，信息熵公式中将一幅图像分成的局部区域个数K，全局裁剪时每次迭代裁剪的卷积核个数X，单层裁剪时每次迭代裁剪的卷积核个数x，采用随机梯度优化算法SGD作为优化函数；

S32、每次从训练样本中随机抽取包含M个样本的Mini-batch作为训练数据进行训练；并基于熵重要性准则模型进行卷积核裁剪操作，具体裁剪方式如下：