[发明专利]一种基于多模态数据融合的遥感图像语义分割方法

说明书

本发明公开了一种基于多模态数据融合的遥感图像语义分割方法，属于计算机视觉领域。具体实现：1)使用遥感图像多模态数据集，包括遥感图像及对应的深度图构建双流的语义分割网络：2)分别对输入图像提取不同尺度的特征，将获取的特征进行多层的特征融合；3)使用注意力机制对网络解码器部分的输入特征与编码器特征进行丰富语义信息的提取，关注相似的像素点。本发明利用多模态的遥感数据集，结合双流网络结构，融合提取的特征，并使用注意力机制关注融合特征与解码特征，从而优化模型性能。

技术领域

本发明涉及遥感图像处理技术，尤其涉及一种基于多模态数据融合的遥感图像语义分割方法。

背景技术

遥感是一种非接触、远距离的探测技术。一般来说，它是用来探测和识别目标物体本身通过传感器发射或反射的电磁波、红外线和可见光。随着遥感技术的飞速发展，特别是近年来高分辨率遥感影像的出现，这项技术已成为及时进行全球或区域地球观测的重要手段。遥感影像的规模也在逐步扩大，影像内容提供的信息也越来越丰富。

图像语义分割的目标是用相应的类标记图像中的每个像素。它是像素级的图像分类。因为我们要预测图像中的每个像素，所以这个任务通常被称为密集预测。值得注意的是，与之前的赋值不同，语义分割的预期输出不仅仅是标签和边界框参数。输出本身是一个高分辨率图像(通常与输入图像的大小相同)，其中每个像素被分类为一个特定的类。

目前，语义分割是计算机视觉的关键问题之一。在宏观意义上，语义分割是一项高层次的工作，它为场景理解铺平了道路。作为计算机视觉的核心问题，场景理解变得越来越重要。应用场景需要从图像中推断出相关的知识或语义(即从具体到抽象的过程)。这些应用包括自动驾驶仪、人机交互、计算摄影、图像搜索引擎、增强现实等。应用各种传统的计算机视觉和机器学习技术，解决了这些问题。尽管这些方法普遍存在，但深度学习的革命已经在相关领域发生了巨大的变化。因此，许多计算机视觉问题，包括语义分割，开始使用深度结构来解决，通常是卷积神经网络cnn，这比传统方法更准确和高效。

随着传感器技术的飞速发展，人们对利用深度信息进行语义分割产生了浓厚的兴趣。深度数据变得广泛，因为它很容易被捕获。毫无疑问，深度信息可以改善分割，因为它捕获的几何信息不是通过颜色通道获得的。在中，深度数据作为除了rgb通道作为输入之外的第四个通道添加到网络中。这种直接的分割方法提高了分割性能。

尽管深度数据有助于从场景中分离对象，但它的语义信息比颜色少得多。此外，深度和颜色通道之间的相关性很小，这促使更好的方法使用深度来增强语义分割。

此外，现有的基于遥感图像的语义分割仍存在以下问题：

(1)遥感数据集中各类图像在角度、颜色、大小等方面存在显著差异，类间也存在实质性的相似性。例如，遥感图像类别之间的边缘区分是不可见的，比如树木和建筑物的阴影会产生遮挡问题。而遥感图像中存在着大量的建筑物、树木等小目标。从现有的深度学习模型中学习鲁棒特征表示提出了新的挑战，这是提高遥感图像语义分割精度的关键。

(2)随着传感器技术的发展，遥感图像的其他数据采集在语义分割中没有得到充分的利用。

(3)现有的语义分割方法在大范围遥感图像小目标特征提取方面存在一些不足。这使得有效提取遥感图像中小目标的特征信息成为可能。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于多模态数据融合的遥感图像语义分割方法，该方法基于RGB图和深度图的双流语义分割网络，提取不同尺度的深度图特征，融合深度特征和RGB特征，使用注意力关注相似的像素，以优化网络的分割性能。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于多模态数据融合的遥感图像语义分割方法，包括如下步骤：

(1)构建双流语义分割网络，包括如下步骤：