[发明专利]一种基于多尺度视觉特征提取的轻量级语义分割方法

权利要求书

1.一种基于多尺度视觉特征提取的轻量级语义分割方法，其特征在于，具体按以下步骤实施：

步骤1，构建基于多尺度特征提取的轻量级卷积神经网络LitNet，具体按以下步骤实施：

所述多尺度特征提取的轻量级卷积神经网络结构包括特征提取模块、多尺度融合模块和上采样模块三部分，具体按以下步骤实施：

步骤1.1，图像输入网络后，首先通过特征提取模块进行下采样提取特征，特征提取模块具体按以下步骤实施：

步骤1.1.1，输入图像，设置width multipler α为1；

步骤1.1.2，对输入图像进行一次普通卷积操作，压缩1次h*w，将通道数调整为32*α通道，并进行BatchNormalization与relu激活；

步骤1.1.3，将步骤1.1.2中所得特征图传入反残差卷积块进行1次反残差卷积，得到通道数为16的特征图；

步骤1.1.4，对步骤1.1.3所得特征图进行16次反残差卷积操作，输出320通道的特征图；

反残差卷积构造步骤为：

首先通过1*1卷积进行通道扩张，并进行BatchNormalization与relu激活；然后通过3*3可分离卷积，并引入空洞卷积进行处理；进而通过 1*1卷积调整通道，并进行BatchNormalization与relu激活；最后引入残差网络结构，将输入与最终卷积输出进行融合；

步骤1.2，再经过多尺度融合模块融合上下文信息，提取图像多尺度特征；所述多尺度融合模块具体按以下步骤实施：

步骤1.2.1，将特征提取模块所得特征图传入多尺度融合模块，构造平均全局池化层、膨胀率分别为1，6，12，18的空洞卷积模块；

步骤1.2.2，获取整体特征然后进行1x1卷积调整通道数，并恢复分辨率；

步骤1.2.3，通过1*1卷积获取整体特征，改变通道数；

步骤1.2.4，分别使用膨胀率为6，12，18的空洞卷积提取到不同尺度下的特征；

步骤1.2.5，将步骤1.2.2~1.2.4中获取的特征进行合并，此时特征图的通道数为1280；

步骤1.2.6，通过构造1x1卷积调整通道数，得到融合后的256维特征图；

步骤1.3，最后通过上采样模块恢复图像尺寸，提高图像分辨率，输出分割结果；

步骤2，将经步骤1建立的神经网络进行训练；

步骤3，将经步骤2训练好的网络进行测试。

2.根据权利要求1所述的一种基于多尺度视觉特征提取的轻量级语义分割方法，其特征在于，所述上采样模块具体按以下步骤实施：

步骤1.3.1，多尺度融合模块中得到256维特征图，构造上采样模块；

步骤1.3.2，对特征图进行三次双线性插值，得到上采样后的特征图；

步骤1.3.3，利用1*1卷积将通道数调整为分割类别数；

步骤1.3.4，构造reshape用于将特征图恢复为原始输入图片大小。

3.根据权利要求1所述的一种基于多尺度视觉特征提取的轻量级语义分割方法，其特征在于，所述步骤2中网络训练为使用CamVid数据集对网络进行训练，具体按以下步骤实施：

步骤2.1，获取预训练权重；

步骤2.2，将数据集数据打乱，将90%的图像用于训练，10%的图像用于估计；

步骤2.3，采用交叉熵损失函数，每个epoch之后输出训练损失与训练准确率以及验证损失与验证准确率；

步骤2.4，初始学习率定为1e-3，训练采用学习率自动下降的方式；

步骤2.5，val_loss2次不下降就将学习率降为之前的1/2继续训练；

步骤2.6，val_loss6次不下降时即认为训练完成，停止训练并保存模型。

4.根据权利要求3所述的一种基于多尺度视觉特征提取的轻量级语义分割方法，其特征在于，所述步骤2.2的具体操作过程包括：

首先将训练集按照预先设定的batch输入进网络，然后随机random数据集为每张图片在[0.7,1.3]范围内任意选择一种尺寸比例进行缩放，再然后按照0.5的概率大小对全部图片做左右变换的翻转处理，再将图片调整色彩，最后将训练图片的大小统一裁剪为设定大小。

5.根据权利要求1所述的一种基于多尺度视觉特征提取的轻量级语义分割方法，其特征在于，所述步骤3中网络测试的具体过程为将测试图像输入网络，得到语义分割结果，并计算mIoU与FPS，对网络性能进行评估：

步骤3.1，获取数据集中分割类别的RGB颜色；

步骤3.2，设定分类数及输入图像大小；

步骤3.3，加载模型并读取数据集；

步骤3.4，将数据集图像每一帧传入分割模型，对像素点进行分类；

步骤3.5，通过像素点分类标签，对分割图像上色，并调整为原图像大小。