[发明专利]低计算量及高度特征融合的实时语义分割方法

权利要求书

1.低计算量及高度特征融合的实时语义分割方法，其特征在于，包含以下步骤：

步骤1：构建一种基于“编码器-解码器”的多分支结构的语义分割网络；

步骤2：分别使用不同分辨率图像作为“编码器”中多分支的各个分支的输入；

步骤3：在“编码器”的各个分支部分中，使用多个残差模块提取图像特征；

步骤4：在残差模块中，使用深度可分离卷积代替传统卷积；

步骤5：在各个分支最后，使用带孔空间金字塔池化扩大图像感受野；

步骤6：将扩大感受野后的特征进行上采样，输入到下一分支的第一个残差模块中，进行拼接方式的特征融合；

步骤7：将各个分支中各个残差模块提取的特征传递到下一分支相应的残差模块中，进行拼接方式的特征融合；

步骤8：将该结构的网络在训练集上进行训练；

步骤9：使用训练好的模型对测试集进行分割，得到该方法的分割结果及效果。

2.根据权利要求1所述的低计算量及高度特征融合的实时语义分割方法，其特征在于，所述步骤1中，构建一种基于“编码器-解码器”的多分支结构的语义分割网络，在这个结构中，“编码器部分”由三个并行分支组成，通过卷积、池化等操作提取特征，得到深层特征，但图像尺寸也不断减小；“解码器”部分将“编码器”提取到的不同阶段的特征进行特征融合并上采样操作，恢复特征图尺寸，最终得到与原始图像尺寸相同的语义分割结果图。

3.根据权利要求1所述的低计算量及高度特征融合的实时语义分割方法，其特征在于，所述步骤2中，将原始图像进行2倍下采样与4倍下采样，并将原始尺寸图像、2倍下采样图像与4倍下采样图像分别作为“编码器”中三个分支的输入，输入全分辨率的图像，可以得到比较丰富的空间信息；输入经过2倍或4倍下采样的低分辨率图像，可以以较低的计算量来采取图片的语义信息。

4.根据权利要求1所述的低计算量及高度特征融合的实时语义分割方法，其特征在于，所述步骤3中，在每个“编码器”的分支中，使用三个深度不同的残差模块通过级联进行下采样并提取图像特征，每个残差模块由三个尺寸为3×3的卷积层级联和一个尺寸为1×1、步长为2的卷积层并联组成。

5.根据权利要求1所述的低计算量及高度特征融合的实时语义分割方法，其特征在于，所述步骤4中，在“编码器”多个分支的残差模块中，将尺寸为3×3的传统卷积核均使用深度可分离卷积代替，使网络的计算量大大降低。

6.根据权利要求1所述的低计算量及高度特征融合的实时语义分割方法，其特征在于，所述步骤5中，在“编码器”每个分支的所有残差模块运行结束后，使用带孔空间金字塔池化扩大图像感受野，带孔空间金字塔池化由一个尺寸为1×1的卷积核、扩张率分别为6,12,18的尺寸为3×3的空洞卷积以及一个平均池化层并行组成，并将其运行结果通过拼接进行特征融合，最后通过一个尺寸1×1的卷积层进行特征通道融合。

7.根据权利要求1所述的低计算量及高度特征融合的实时语义分割方法，其特征在于，所述步骤6中，在“编码器”部分扩大图像感受野之后，将带孔空间金字塔池化后的结果进行4倍的上采样，得到与下一分支第一个残差模块输入图像尺寸相同的特征图，并与该输入图像在通道维度进行拼接融合。

8.根据权利要求1所述的低计算量及高度特征融合的实时语义分割方法，其特征在于，所述步骤7中，“编码器”的每个分支中都有三个深度不同的残差模块，将第一个分支中自上而下的三个残差模块提取到的特征图，分别与第二个分支中相应的三个残差模块的输入图像在通道维度进行拼接融合，用相同的方法，在第二个分支与第三个分支的相应阶段之间进行特征传递。

9.根据权利要求1所述的低计算量及高度特征融合的实时语义分割方法，其特征在于，所述步骤8中，对进行特征融合后的网络在训练集上进行训练，训练时使用Cityscapes数据集。

10.根据权利要求1所述的低计算量及高度特征融合的实时语义分割方法，其特征在于，所述步骤9中，使用训练得到的模型对测试集进行测试，得到测试图像相应的分割结果图与Fps、平均交并比等测试指标，与现有实时语义分割方法进行比较。