[发明专利]一种多源遥感图像融合语义分割方法及系统

说明书

本发明涉及一种多源遥感图像融合语义分割方法及系统。该方法包括通过编码网络对目标的多源遥感图像中不同模态的遥感数据分别进行下采样，同时利用通道网络对不同模态的遥感数据对应的分支网络进行通道交换，确定分支网络对应的多分辨率的特征图；对分支网络对应的多分辨率的特征图进行通道拼接，并利用transformer编码器对拼接后的特征图进行长距离依赖项的建模，并输出特征图；利用解码网络对特征图进行解码，确定目标的分割结果；所述分割结果为分割掩膜。本发明能够提供多源遥感图像融合中的全局特征提取的准确性和数据利用率。

技术领域

本发明涉及多源遥感图像处理领域，特别是涉及一种多源遥感图像融合语义分割方法及系统。

背景技术

目前多源遥感图像的语义分割算法有FuseNet、SegNet-RC等。FuseNet使用多支路编码器对多源遥感图像进行联合编码，几个编码器的输出结果在每个卷积块后相加。然后，一个解码器将编码后的联合表示重新采样回标签概率空间。然而，在这种架构中，分支数据被视为二手数据，即这几个分支并不是完全对称的。此外，在上采样过程中，只使用主分支的指标。因此，需要选择哪个数据源是主要数据源，哪个数据源是辅助数据，这在处理这多源的方式上存在一种概念上的不平衡。SegNet-RC使用多个编码器对多源遥感信息分别进行编码，然后分别解码，并在解码之后进行不同支路的融合。该方法改善了语义标注的精度，但要求多源遥感图像属于非异构图像，模型应用存在一定的局限性，尤其源数据为光电与雷达图像时。

由于多源遥感图像往往具有异质性，现有的方法对于不均衡的数据源没有针对性的融合策略，对于通道数不同的遥感图像难以提高对互补数据的利用率；并且多源遥感图像包括光学(如高光谱、多光谱、全色)、红外、DSM和SAR图像等，而现有模型在融合过程中对主要数据源和辅助数据不加区分，导致语义分割结果易受部分图像的遮挡和观测效果影响，模型稳定性不佳；大部分现有的方法基于卷积神经网络，卷积神经网络的固有的局部感知特性可能导致对象和类别的错误分类，并忽略全局上下文信息，对于城市区域的建筑等大型片区目标的分割效果不理想。

为了解决多源遥感图像融合中的全局特征无法提取和数据利用率不高的问题，亟需提供一种新的处理方法或系统。

发明内容

本发明的目的是提供一种多源遥感图像融合语义分割方法及系统，能够提供多源遥感图像融合中的全局特征提取的准确性和数据利用率。

为实现上述目的，本发明提供了如下方案：

一种多源遥感图像融合语义分割方法，包括：

通过编码网络对目标的多源遥感图像中不同模态的遥感数据分别进行下采样，同时利用通道网络对不同模态的遥感数据对应的分支网络进行通道交换，确定分支网络对应的多分辨率的特征图；不同模态的遥感数据包括：全色PAN、多光谱MS和合成孔径雷达SAR三种模态的遥感数据；分支网络包括：PAN分支网络、MS分支网络和SAR分支网络；

对分支网络对应的多分辨率的特征图进行通道拼接，并利用transformer编码器对拼接后的特征图进行长距离依赖项的建模，并输出特征图；

利用解码网络对特征图进行解码，确定目标的分割结果；所述分割结果为分割掩膜。

可选地，所述对分支网络对应的多分辨率的特征图进行通道拼接，并利用transformer编码器对拼接后的特征图进行长距离依赖项的建模，并输出特征图，具体包括：

对拼接后的特征图的空间维度折叠为一维序列；

利用公式z₀＝f+PE生成特征嵌入；

根据特征嵌入依次输入多个transformer层中，确定特征图，并将特征图的尺寸恢复成与多分辨率的特征图的相同的尺寸；所述transformer层包括：多头注意力MHA块和前馈网络FFN；