[发明专利]一种注意力引导的可变形自注意力的语义分割方法

说明书

本发明公开一种注意力引导的可变形自注意力的语义分割方法，使用权重分离的通道注意力模块将不同权重的注意力特征通道进行分离。使用可变形自注意力的Transformer对高权重特征图进行特征提取，通过可变形自注意力窗口模块将切分的图像块变成适应目标形状的不规则的形状，然后进行填充成正方形图像块后送入Transformer，可以使自注意力更加聚焦于特征图中更关键的区域并获取更多的特征信息。使用双权重的双注意力模块对低权重特征图进行特征提取，通过获取特征图不同尺度的空间和通道注意力并进行聚合，可以使空间和通道注意力更好地得到特征图的空间和通道信息。本发明能够让语义分割的内存和计算成本更低，提升分割精度。

技术领域

本发明涉及图像分割技术领域，具体涉及一种注意力引导的可变形自注意力的语义分割方法。

背景技术

语义分割是将图像当中的每个像素分成不同的语义区域，并且依据指定类别对区域分为不同种类。语义分割作为计算机视觉的一个重要分支也是关键任务之一，其应用场景越来越广泛，如地理信息系统、无人车驾驶、医疗影像分析以及机器人领域等，重要性也随着人工智能的快速发展逐渐体现。

目前，语义分割算法模型一般都基于卷积神经网络或Transformer。基于卷积神经网络的方法虽然在语义分割领域取得了不错的成绩，但是由于卷积对局部的操作，这会导致很难学习到图像全局和长距离的语义交互信息。Transformer如今广泛应用在自然语言处理(NLP)领域上，这种模型依赖于自注意力机制，并捕捉到句子中单词之间的依赖关系。Transformer在NLP中的成功启发了计算机视觉的研究方法，研究人员将Transformer引入视觉领域，在后续的ViT、DETR、SETR分别在图像识别、目标检测、语义分割上表现出了极大的潜力。然而，Transformer扩大感受野带来的较大的内存和较高的计算成本，并且会受到图像中不相关部分的影响。

发明内容

本发明提供一种注意力引导的可变形自注意力的语义分割方法，其能够对图像进行语义分割，让语义分割的内存和计算成本降低，提高分割精度。

为解决上述问题，本发明是通过以下技术方案实现的：

一种注意力引导的可变形自注意力的语义分割方法，包括步骤如下：

步骤1、将原始图像进行预处理操作，即将原始图像的高度和宽度缩放为同一大小；

步骤2、对步骤1所得到的图像依次进行两次特征提取操作，分别得到一次特征提取后的特征图和两次特征提取后的特征图；

步骤3、通过生成步骤2所得到的两次特征提取后的特征图的注意力权重，并将特征图的重要特征进行强化，得到具有重要特征的权重特征图；

步骤4、将步骤3所得到的具有重要特征权重的特征图中低注意力权重的特征通道像素值设为0，从而得到高权重特征图；同时将步骤3所得到的具有重要特征权重的特征图中高注意力权重的特征通道像素值设为0，从而得到低权重特征图；

步骤5、将步骤4所得到的高权重特征图经过可变形自注意力Transformer操作，得到具有丰富的全局上下文信息的特征图；

步骤6、将步骤4所得到的低权重特征图进行双权重的双注意力操作，得到双注意力特征图；

步骤7、将步骤5所得到的具有丰富的全局上下文信息的特征图和步骤6所得到的双注意力特征图进行特征相加，得到注意力特征图；

步骤8、将步骤7所得到的注意力特征图进行三次注意力图的上采样操作后，得到上采样后的注意力特征图；

步骤9、将步骤8所得到的上采样后的注意力特征图进行卷积操作，得到降通道后的特征图；

步骤10、将步骤9所得到的降通道后的特征图与步骤2所得到的两次特征提取后的特征图进行通道拼接操作，得到第一通道拼接特征图；