[发明专利]一种基于多尺度视觉特征提取的轻量级语义分割方法

说明书

本发明公开了一种基于多尺度视觉特征提取的轻量级语义分割方法，包括以下步骤：网络建立：首先构建基于多尺度特征提取的轻量级卷积神经网络LitNet，通过特征提取器提取图像特征，将特征传入融合空洞卷积的空间金字塔模块提取图像多尺度特征，最后通过简单上采样模块完成特征整合，恢复图像分辨率；网络训练：使用Tensorflow框架搭建网络结构，使用交叉熵函数作为损失函数，使用Adam算法优化训练参数，并在训练过程中采用早停策略防止网络训练过拟合，以达到最优训练效果；网络测试：将测试图像输入网络，得到语义分割结果，并计算mIoU与FPS，对网络性能进行评估，经过测试，本发明在CamVid数据集上模型大小为10M，mIoU为70.24％，可以达到34FPS，可以满足实时分割要求。

技术领域

本发明属于图像分割技术领域，涉及一种基于多尺度视觉特征提取的轻量级语义分割方法。

背景技术

在无人机，无人驾驶等高机动性的自主决策终端系统中，如何实现准确的环境感知是系统运行的重要基础，可通过对设备采集图片进行知识推断，完成设备的场景理解。图像语义分割是AI领域的一个重要分支，是机器视觉技术中关于图像理解的重要一环。语义分割(semantic segmentation)是从粗推理到精推理的过程，即通过查找图像像素所属类别，识别图中存在的内容以及位置，最终完成图像中各物体对象的整体标注，形成图像掩膜或输出每个像素所属类别。近年来随着深度学习的普及，许多语义分割问题正在采用深层次的结构来解决，最常见的是卷积神经网络(CNN)，在精度及效率上超过其他方法。然而，此类方法使用了复杂的网络结构，计算资源和运算时间要求较高，在资源受限的嵌入式环境中受到极大的应用限制。

目前各应用语义分割任务的领域多属于移动端系统或高机动性系统，语义分割网络模型大且推理速度慢，现有方法进行语义分割时为实现轻量化一般的做法有两种：减小图片大小和降低模型复杂度。减小图片大小可以最直接地减少运算量，但是图像会丢失掉大量的空间细节从而影响精度，不易完成小尺度物体的分割。降低模型复杂度则会导致模型的特征提取能力减弱，严重影响分割精度。因此需要一种高精度且能够快速标注多尺度物体的语义分割方法。

发明内容

本发明的目的是提供一种基于多尺度视觉特征提取的轻量级语义分割方法，解决了现有各应用语义分割任务的领域中存在的语义分割网络模型大且推理速度慢的问题。

本发明所采用的技术方案是，设计一种基于多尺度视觉特征提取的轻量级网络模型LitNet的语义分割方法，具体按以下步骤实施：

步骤1，构建基于多尺度特征提取的轻量级卷积神经网络LitNet；

步骤2，将经步骤1建立的神经网络进行训练；

步骤3，将经步骤2训练好的网络进行测试。

本发明的特点还在于：

其中步骤1的具体实施过程包括：所述多尺度特征提取的轻量级卷积神经网络结构包括特征提取模块、多尺度融合模块和上采样模块三部分，具体按以下步骤实施：

步骤1.1，图像输入网络后，首先通过特征提取模块进行下采样提取特征；

步骤1.2，再经过多尺度融合模块融合上下文信息，提取图像多尺度特征；

步骤1.3，最后通过上采样模块恢复图像尺寸，提高图像分辨率，输出分割结果；

其中特征提取模块具体按以下步骤实施：

步骤1.1.1，输入图像，设置设置width multiplerα为1；

步骤1.1.2，对输入图像进行一次普通卷积操作，压缩1次h*w，将通道数调整为32*α通道，并进行BatchNormalization与relu激活；