[发明专利]基于分组非对称卷积的高效语义分割方法

说明书

本发明设计了一种基于分组非对称卷积的高效语义分割方法，该方法采用pytorch框架构建网络。该方法以分组非对称卷积瓶颈层作为主要模块，辅以下采样模块和反卷积模块等模块，搭建编码器和解码器结构，进而构建了一个高效的语义分割网络。相比于同类方法，本发明改进了瓶颈层的结构，提出了一种新的设计方案，通过分组非对称卷积的方式减少了瓶颈层的参数量，提高了瓶颈层的运算效率，进而提高了网络的推理速度，同时通过分组级联的方式赋予瓶颈层获取多尺度信息的能力。

技术领域

本发明可以应用于图像语义分割领域，以pytorch作为卷积神经网络的搭建框架，构建编解码器结构以实现对图像的语义信息分割。

背景技术

图像分割技术一直以来都是图像处理领域的研究热点，传统的图像分割算法只能简单的分割出图像的前景和背景，却无法得知前景所蕴含的语义信息，这给后期应用带来了许多不便。

随着深度学习的兴起，卷积神经网络开始在图像处理领域广泛应用并取得了不错的成果。卷积神经网络具有非常强的特征提取能力，特别适合于做分类和分割任务，于是这就为图像语义分割技术的发展带来了契机。

目前基于深度学习的语义分割方法主要可以分为两种，一种是以FCN为代表的采用编解码器结构的语义分割网络，使用长连接即跨越几个甚至十几个卷积层的连接来做多尺度特征融合，然后采用反卷积的方式得到最终结果，另一种是以RefineNet为代表的使用多路径做多尺度特征融合的语义分割网络，然后通过插值得到最终结果输出。以上这两类网络在语义分割任务上均可取得不错的精度，但是由于这两类网络采用均resnet101作为模型的瓶颈层，模型参数量庞大，运行速度非常缓慢，处理一帧图像需要十几秒，这就给实际应用带来了困难。

综上所述，目前语义分割网络存在网络模型冗余，瓶颈层参数量过大，多尺度特征获取效率不高等问题。如何在尽量少损失精度的前提下，尽可能的减少网络的参数量，提高多尺度特征的获取效率是解决上述问题的关键。

发明内容

鉴于现有方法存在的问题和缺陷，本发明提供了一种基于分组非对称卷积的语义分割方法，可以有效的解决该问题。该方法的关键在于构建一种新型高效的瓶颈层，该瓶颈层在保证卷积可以有效获得图像特征的同时，还提高了瓶颈层运算的速度，减少了卷积核的参数，缩小了模型的体积。

本发明的技术方案为一种基于分组非对称卷积的高效语义分割方法，包括如下步骤：

步骤1，构建语义分割网络，由编码器和解码器两大部分组成，其中编码器部分用于提取图像的多尺度特征信息，包含m个下采样模块和n个分组非对称卷积瓶颈层，编码器最终输出的特征图分辨率为原始输入分辨率的解码器部分包含m个反卷积模块和l个分组非对称卷积瓶颈层，用于解析编码器的输出结果，并将输出特征图放大至与原始输入分辨率一致；

所述下采样模块由两个分支组成，一个分支完成最大池化操作，另一个分支完成卷积操作，接着将两个结果拼接，最后通过重组操作整合两个分支的信息得到最后的输出；

所述分组非对称卷积瓶颈层ga-bottleneck采用分组卷积和非对称卷积来优化瓶颈层的参数量，首先将瓶颈层的输入划分为四个具有相同通道数的卷积组，其中第一组用于获取输入的原始特征信息，第二组、第三组和第四组的卷积输入，分别为原始输入与上一组的输出的叠加入；每个卷积组之间通过级联方式进行信息沟通，然后将每个组的输出结果拼接后，通过重组操作整合各个组的信息，得到最终的输出结果；

反卷积模块采用2×2大小的卷积核，步幅为2的卷积方式，扩大输入特征图分辨率，减少输出通道；

步骤2，使用数据集训练语义分割网络得到相应的网络模型权重；

步骤3，将需要处理的图像数据做归一化处理，转化为用于计算的张量数据，输入到训练好的网络模型中，得到预测的标签；

步骤4，根据预测的标签对网络输出的特征图进行上色，进而得到分割后图像。