[发明专利]卷积神经网络的多尺度特征通道的动态选择方法

说明书

本发明公开了一种卷积神经网络的多尺度特征通道的动态选择方法，包括以下步骤：采用concat结合多尺度卷积核所提取的特征图；通过SE机制对通道分配权重；采用1*1卷积核对分配权重后的输出通道数进行压缩。本发明能够在增加较少卷积神经网络运算模型运算量的基础上，明显提高模型的精度。

技术领域

本发明涉及卷积神经网络技术领域，具体来说，涉及一种卷积神经网络的多尺度特征通道的动态选择方法。

背景技术

卷积神经网络(Convolutional Neural Networks，CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariantclassification)，因此也被称为“平移不变人工神经网络(Shift-Invariant ArtificialNeural Networks,SIANN)”。

对卷积神经网络的研究始于二十世纪80至90年代，时间延迟网络和LeNet-5是最早出现的卷积神经网络；在二十一世纪后，随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被应用于计算机视觉、自然语言处理等领域。

卷积神经网络仿造生物的视知觉(visual perception)机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化(grid-like topology)特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程(feature engineering)要求。

GoogLeNet是2014年Christian Szegedy提出的一种全新的深度学习结构，在这之前的AlexNet、VGG等结构都是通过增大网络的深度(层数)来获得更好的训练效果，但层数的增加会带来很多负作用，比如overfit、梯度消失、梯度爆炸等。inception的提出则从另一种角度来提升训练结果：能更高效的利用计算资源，通过并行不同大小的卷积核，增强模型对不同尺度特征的拟合能力，从而在相同的计算量下能提取到更多的特征，从而提升训练结果。

SE-net通过添加通道注意力机制，通过显式地建模通道之间的相互依赖关系，自适应地重新校准通道式的特征响应。

GoogleNet效果好，但并没有太多对运算量的限制，在并行卷积后使用concat对来自不同卷积尺度卷积核的特征图进行拼接，这意味着，如果每个卷积核具有n个输出通道，那么每次进行卷积后，输出的特征图数量就会变成m*n(m代表总共并行了多少个其它尺寸卷积核)，而输出特征图的增多，会大大增加运算负担。这样的结构，大大的增加了运算成本，并不适合在小模型上使用。

发明内容

本发明的目的在于提出一种卷积神经网络的多尺度特征通道的动态选择方法，以克服现有技术中存在的上述不足。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种卷积神经网络的多尺度特征通道的动态选择方法，所述方法包括以下步骤：

采用concat结合多尺度卷积核所提取的特征图；

通过SE机制对通道分配权重；

采用1*1卷积核对分配权重后的输出通道数进行压缩。

一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如上所述的动态选择方法。