[发明专利]基于自监督对比学习的遥感图像语义分割方法

说明书

本发明公开了基于自监督对比学习的遥感图像语义分割方法，包括以下步骤：构建语义分割网络模型(如Deeplab v3+)；采用无标注数据对所述网络模型的编码器进行预训练；预训练完成后，在标注样本上对所述网络模型进行有监督语义分割训练；采用有监督语义分割训练完成的网络模型对遥感图像进行语义分割；在预训练的过程中，采用全局风格对比和局部匹配对比结合的方式进行对比学习。本发明将对比自监督学习应用于到了遥感语义分割数据集，提出了全局风格和局部匹配对比学习框架，形成了基于自监督对比学习的遥感图像语义分割方法，使得语义分割方法的适用面更广，分割效果更好。

技术领域

本发明涉及遥感影像语义分割技术领域，尤其涉及基于自监督对比学习的遥感图像语义分割方法。

背景技术

随着遥感技术的发展，高分遥感影像的获取越来越容易，遥感影像在城市规划、灾害监测、环境保护、交通旅游等方面有着越来越广泛的应用。对遥感影像中的信息的提取与识别通常是一切应用的基础，而语义分割就是对全图像素进行识别分类的技术，所以一直以来都是遥感领域很重要且极具挑战性的一个研究方向。

近年来借助深度学习技术的发展，遥感影像语义分割取得了令人印象深刻的成果，并被越来越广泛的应用于全球地表覆盖，城市建成区识别等方面。然而，现有的深度学习技术的成功严重依赖于大量高质量的标注样本，但是由于语义分割任务标注成本的高昂以及遥感影像在时间上和空间上存在巨大的异质性，所以现有的标注数据其实只是遥感影像的一个截断面，无法满足样本的多样性和丰富性的需求。

针对标注样本不足的问题，常见的方法是进行数据增强以生成更多样本，这一定程度上提高了模型的鲁棒性，在一般的训练过程中都会用到，然而效果有限；另外一些研究试图利用其它标注数据，如预训练或迁移学习，即将在其他更大的或与当前任务更相关的数据集上训练好的模型参数迁移到现有任务中来代替随机初始化，这样可以大大减少训练时间，也可一定程度上弥补数据不足的缺陷，然而迁移学习本质上还是局部到局部的过程，如果不同域之间差异性过大，还可能存在负迁移的情况。

事实上，虽然大量标签不可得，但覆盖全球，具有极高多样性和丰富性的影像数据是唾手可得的，所以如何完全、有效的利用这些数据是关键，一种方式半监督学习，即将大量无标签数据与少量标注数据一起训练，近年来主流的方法是基于自训练的思想，然而半监督学习与特定的任务高度相关，无法获得通用的模型，而且影像中蕴含的信息远比稀疏的标签更为丰富，但以上基于监督学习的方式都没法充分的影像数据，只能学习到面向特定任务的知识。而自监督学习提供了一种新的范式，它不依赖于任何标注数据，是直接使用影像数据本身来设计自监督信号来指导学习，因此能够很好的避免上述监督范式存在的问题，有望学习到潜在的更通用的知识，然后将其转移到具体下游任务中。

根据设计的自监督信号的不同，目前的自监督学习大体可以分为三大类：基于上下文、基于时序、基于对比。而最近的一些工作表明，基于对比学习的方法能获得更优的性能。参考文献：Chen T,Kornblith S,Norouzi M,et al.A Simple Framework forContrastive Learning of Visual Representations[J].2020。对比学习是通过学习两个事物的相似或不相似来构建表征，其核心思想是与正样本间的特征表达应该是相似的，而与负样本间的特征表达是不相似的。基于对比学习的方法能获得更优的性能，其直觉是，同一图像的不同变换的表征应该是相似的，而与不同图像的表征是不相似的，以此来训练一个合适的网络。

然而现有的对比学习大多是实例级的对比，即对整张图提取一个全局的特征，然后对这种整体的特征进行区分。这在自然图像分类数据集上显示出了良好的性能，但实际裁剪的遥感影像单张图像中的地物分布可能比较丰富，不像自然图像分类数据集那样单张图像上类别较为纯净或具有某个很突出的类别，此时如果仍然像原有的实例级对比学习方法那样只对整张图提取全局特征进行区分就会损失掉很多信息，同时考虑到语义分割任务和分类任务本身存在差异，对于分类来说我们只需要进行图像级区分，而语义分割任务是像素级的分类，它还需要区分同一图像中的不同局部。

发明内容