[发明专利]一种基于动态卷积注意力的图像语义分割方法

说明书

本发明公开了一种基于动态卷积注意力的图像语义分割方法，以实现对原始图像的语义分割，利用ResNet101网络对原始图像进行特征提取，生成高层特征和低层特征；将高层特征通过不同尺度的自适应池化层，生成四组不同尺寸的标准卷积核，利用卷积层对标准卷积核进行线性组合，生成初始动态卷积核；利用空间注意力机制增强初始动态卷积核的特征提取能力，生成最终动态卷积核，用生成不同尺寸的最终动态卷积核实现多尺度处理；利用高层特征的语义信息，生成低层特征的通道权重，对低层特征的通道信息进行重新加权，将低层特征和高层特征进行特征融合。本发明能够有效的提取多尺度信息，利用高层特征的语义信息和低层特征的细节信息，提高语义分割的准确率。

技术领域

本发明涉及图像语义分割领域，更具体地说，涉及一种基于动态卷积注意力的图像语义分割方法。

背景技术

图像语义分割旨在为图像中的每个像素分配所属的类别标签，在分割结果中，以不同的颜色区分不同语义的目标，作为计算机视觉的密集预测任务，语义分割在很多领域都具有广泛应用。在智能医疗领域，语义分割通过分析不同医学影像，为医生诊断提供依据；在地理信息系统领域，通过对观测到的影像中的道路、河流等区域的分割，为地区监控、城市规划和道路监测等任务提供辅助决策信息；在智能监控领域，语义分割通过对行人、建筑物等目标的分割，为监控决策增加安全保障。尤其在当前发展势头强劲的自动驾驶领域，语义分割有着不可替代的作用。

传统的图像分割是依据图像中物体的颜色、形状、纹理等低级语义信息，然后基于阈值比较、边界检测或区域划分实现的。对图像中像素的对比度、方向度等中级语义，以及像素之间的空间关系利用不足，分割结果难以满足图像理解的现实需要，无法使机器设备能够像人一样分析和理解图像中所包含物体的含义。2006年，Hinton等提出利用深度神经网络从大量的训练数据中自动地学习高维特征。与传统的语义分割方法相比，深度学习的语义分割方法摒弃了手工设计的繁重工作，利用卷积神经网络在数据中自动的学习特征，从而节省时间、提高效率。同时，利用深度卷积神经网络也可以进行端到端的语义分割预测。

在基于深度卷积神经网络的图像语义分割方法中，需要提供有像素级语义标签的标注图像和原始图像，然后将这些图像输入到语义分割模型中对模型进行训练，获得训练完成的分割模型，最后将测试图像输入到训练完成的语义分割模型中，输出对应的测试结果。在图像语义分割技术中，输入的是单幅图像的信息，输出的是对单幅图像的像素级分类。

多尺度问题是图像语义分割中存在的难题之一。在一幅图像中，经常出现不同尺寸的目标，使用固定大小的感受域，不能将所有不同尺寸的目标分割出来。小尺寸目标需要较小的感受域，当网络预设的感受域较大时，网络倾向于捕获大尺度目标，忽略小尺寸目标，使小尺寸目标很难分割，而大尺寸目标需要较大的感受域，当网络预设的感受域较小时，会导致网络对大尺寸目标的分割结果不完整。为了解决不同尺寸目标和目标边界的准确分割问题，Li等提出了一种金字塔注意力网络PANet，在编码时利用不同尺寸的标准卷积层提取高层特征的多尺度语义信息，然后将提取到的多尺度语义信息作为注意力和原始输入特征逐像素相乘。He等利用输入特征生成多组不同尺寸的标准卷积核，然后用卷积层对生成的标准卷积核进行线性组合，生成多组不同尺寸的动态卷积核，进而提取多尺度语义信息，在此基础上，He等提出了语义分割网络DMNet。DMNet利用不同尺寸的动态卷积提取多尺度语义信息，增强了网络的特征提取能力以及推理能力。