[发明专利]一种基于双分支神经判别降维的半监督图像分割方法

说明书

本发明公开了一种基于双分支神经判别降维的半监督图像分割方法，采用训练数据集训练构建的图像分割模型，图像分割模型包括特征提取模块和解码模块，所述特征提取模块采用Swin Transformer网络，所述SwinTransformer网络两个分支的对应Swin Transformer快之间设置有神经判别降维模块NDDR，所述神经判别降维模块NDDR与下一个SwinTransformer快之间设置有分片融合模块，所述解码模块包括两个与SwinTransformer网络两个分支分别对应的解码器，使用半监督的方法以双分支的形式在全局的函数回归任务和像素分类任务之间建立一致性，在充分考虑几何约束的情形下，关注局部特征的同时结合全局整体之间的联系，提高伪注释和分割的质量，从而提升图像分割的性能。

技术领域

本发明属于人工智能计算机视觉技术领域，涉及一种基于双分支神经判别降维Transformer的半监督图像分割方法。

背景技术

图像分割技术是计算机视觉领域的重要研究方向，是图像语义理解的重要一环。图像分割是指将图像分成若干具有相似性质的区域的过程，从数学角度来看，图像分割是将图像划分成互不相交的区域的过程。最近，深度学习技术在许多图像分割任务中显示出显著的改进并取得了最先进的性能。在深度神经网络中极受欢迎的卷积神经网络(Convolutional Neural Networks，CNN)由于其强大的特征表示能力在计算机视觉领域取得了重大突破。然而卷积神经网络由于其本身的限制，容易更关注局部特征而忽略全局整体的联系，其性能并不能达到令人满意的程度。与CNN不同的是，Transformer由于其自注意力的特性能够在视觉任务中对全局的信息有很好的利用，促使研究人员对它在计算机视觉的适应性上进行了大量的研究，最近它在某些视觉任务上展示了的不错的结果。SwinTransformer通过引入CNN中常用的层次化构建方式构建层次化Transformer以及对不重合的区域内进行自注意力计算在多种计算机视觉任务中都能取得比较好的结果。

然而，深度学习网络的成功需要依赖于大量的标注数据集，而对图像进行注释不仅费时费力，可能还需要专家的先验知识，因此包含大量注释的数据集很难获得。为了解决这些问题，半监督学习以从有限数量的标记数据和任意数量的未标记数据中学习的基本思想被广泛探索，这是一个基本的、具有挑战性的问题。

在半监督学习中，为了利用大量的未标记数据，一种简单直观的方法是为未标记数据分配伪注释，然后使用标记和伪标记数据训练分割模型。伪注释通常以迭代方式生成，其中模型通过从其自身对未标记数据的预测中学习来迭代提高伪注释的质量。然而尽管具有伪注释的半监督学习已经显示出一定的性能，但是模型生成的注释仍然可能是有噪声的，这对后续的分割模型会有不利影响。

近几年，多任务学习因为其相关任务能够学习对多个任务都很有效的相互关联的表示，从而避免过度拟合以获得更好的泛化能力，在计算机视觉领域获得了广泛关注。其中所提出的神经判别降维模块(Neural Discriminative Dimensionality Reduction，NDDR)可以以端到端的方式进行训练，具有“即插即用”的特性，良好的扩展性和性能，但NDDR一般与CNN结合，这会导致网络产生只关注局部特征，忽略全局整体的问题。

发明内容

本申请的目的是提供一种基于双分支神经判别降维的半监督图像分割方法，网络主要由与Swin模块结合的神经判别降维模块NDDR构成，使用半监督的方法以双分支的形式在全局的函数回归任务和像素分类任务之间建立一致性，在充分考虑几何约束的情形下，关注局部特征的同时结合全局整体之间的联系，提高伪注释和分割的质量，从而提升图像分割的性能。

为了实现上述目的，本申请技术方案如下：

一种基于双分支神经判别降维的半监督图像分割方法，包括：

对采集的图片进行预处理，获得训练数据集；