[发明专利]一种基于MobileNets优化多尺度学习网络的方法

说明书

本发明涉及一种基于MobileNets优化多尺度学习网络的方法，本发明所述多尺度学习网络包括4部分，前3部分为相同的可分离卷积层，每个可分离卷积层后面连接batchnorm和ReLU，再连接池化层，最终与第4部分的全连接层和输出层连接，其中可分离卷积层包括3组卷积操作，具体网络结构为，第一组以3*3的深度卷积进行卷积操作，第二组连续用两个3*3的深度卷积进行卷积操作，然后再将第一组和第二组的输出进行加和操作，继续用1*1的点卷积进行卷积操作；第三组直接用1*1的点卷积进行卷积操作，接着把第一、二组和第三组的输出进行合并操作；通过实验对比发现，本发明构建的网络结构实验参数少，精度高，三组可分离卷积层结构稳定，实验效果最为理想。

技术领域

本发明属于图像分类领域，它主要是应用于移动和嵌入式视觉应用，是针对手机等嵌入式设备提出的一种轻量级的深层神经网络。图像分类，是通过各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。

背景技术

在深度学习的发展背景下，卷积神经网络已经得到越来越多的人认同，应用也越来越普遍。目前深度学习的大体发展趋势是通过更深和更复杂的网络来得到更高的精度，然而这些更深更复杂的网络通常在模型的大小以及运行速度上不占优势。而现实生活中移动端以及某些嵌入式平台上的应用，如机器人和自动驾驶等，他们本身的硬件资源相对有限，就更需要一种轻量级、低延迟(同时精度尚可接受)的网络模型。

MobileNets本身就是一种用于移动和嵌入式视觉应用的高效模型。MobileNets是基于一个流线型的架构，它使用深度可分离的卷积来构建轻量级的深层神经网络。见图1，可以看出标准卷积和可分离卷积具体卷积模块的区别，它可以将标准卷积分离成一个深度卷积和一个点卷积(1×1卷积核)。深度卷积将每个卷积核应用到每一个通道，而1×1卷积用来组合通道卷积的输出。这种分离可以有效减少计算量，并且降低模型大小。如图2，形象的说明标准卷积是如何进行分离的。

并且MobileNets网络引入了两个简单的全局超参数，分别是宽度乘数和分辨率乘数。前者是为了改变输入输出通道数，减少特征图数量，让网络变瘦；后者通过改变输入数据层的分辨率，同样也能减少参数。在延迟度和准确度之间有效地进行平衡，在表现出较好的性能同时，兼顾模型大小。但是现有的MobileNets网络和同样层数的其他网络相比，虽然时间和参数数量有所优化，但精度不容乐观。

发明内容

在构建模型的时候，可以通过选择MobileNets网络中两个超参数来构建合适大小的效果更好的模型。本发明主要是对移动和嵌入式视觉应用方面神经网络的优化，在MobileNets网络的基础上，对网络进行一些优化和改进，提高网络的准确率。在对其他数据集的测试中，本发明所得到的结果较为理想，在精度和时间上与其他模型相比都有较好的表现。

为了达到上述目的，本发明所采用的技术方案是：一种基于MobileNets优化多尺度学习网络的方法，以MobileNets网络所突出的深度可分离卷积形式为基础，在每层可分离卷积层中交叉并联三组深度卷积和点卷积；分别以一组深度卷积、两组点卷积、一组连续深度卷积和组合的形式；通过cancat函数与add函数进行连接。具体包括如下步骤：

步骤1，构建多尺度学习网络，所述多尺度学习网络包括4部分，前3部分为相同的可分离卷积层，每个可分离卷积层后面连接batchnorm和ReLU，再连接池化层，最终与第4部分的全连接层和输出层连接，其中可分离卷积层包括3组卷积操作，具体网络结构如下，

第一组以3*3的深度卷积进行卷积操作，第二组连续用两个3*3的深度卷积进行卷积操作，然后再将第一组和第二组的输出进行加和操作，继续用1*1的点卷积进行卷积操作；第三组直接用1*1的点卷积进行卷积操作，接着把第一、二组和第三组的输出进行合并操作；

步骤2，多尺度学习网络初始化，获得可分离卷积层的初始权值和阈值；