[发明专利]一种基于多视点深度特征融合SENet网络的分类方法

说明书

本发明公开了一种基于多视点深度特征融合SENet网络的分类方法，将强度‑色调‑饱和度(IHS)和离散小波变换相结合，将PAN和MS的块对交互融合，从而减小它们之间的信息分布差异；基于SENets中特征通道的注意机制模块，将多视点接受域信息嵌入到网络结构中，可以从大目标和小目标中提取出重要的、鲁棒的特征。本发明网络适用于大场景中包含许多不同尺寸物体的遥感图像的分类，提高了分类的性能，可用于多源遥感图像的分类或逐像素的分类。实验结果表明，MDFF‑SENet具有良好的竞争性能。

技术领域

本发明属于计算机视觉图像处理技术领域，具体涉及一种基于多视点深度特征融合SENet网络的分类方法，可用于土地利用分析、环境监测、植被覆盖、城市建设等遥感图像地物分类相关领域中。

背景技术

随着传感器技术以及设施的不断发展，我们可以获取到更多种类的遥感图像，且单一类型的遥感图像已经完全不能满足人们日益增长的应用需求，为了提取出多种遥感图像的不同特征，进而对其进行分类，因此，我们需要将具有不同优势的遥感图像进行融合，充分利用多源遥感图像之间的差异性和互补性，进而获取高质量的图像，充分发挥多源遥感图像之间的各种优势。

近年来，在先进设备技术的支持下，许多地球观测卫星(如Landsat、IKONOS、高分一号、QuickBird)可以在相同的覆盖区域内获取全色(PAN)图像和多光谱(MS)图像。全色(PAN)图为单通道，但相比于MS图含有丰富的空间分辨率，而MS图为4通道的多光谱图像，分别是RGB和近红外通道，含有丰富的光谱信息。但是，由于反射率值随着光谱波段和地表覆盖的不同而不同，MS图像比PAN图像可以记录更多的地表信息。然而，由于较小的信噪比和传感器约束，MS图像的空间分辨率通常小于PAN图像。因此，PAN数据中较细的空间信息与MS数据中较丰富的光谱信息之间的这种内在互补性为多分辨率遥感图像分类提供了重要的发展潜力。

目前，深度学习作为计算机视觉领域的一个非常热门的研究方向，也被引入到多分辨率的遥感分类中。这些研究通常在原始数据上直接进行处理，并巧妙地设计网络的输入和输出。其输入是来自同一场景的一对MS和PAN图块，网络通常包括一个PAN分支和一个MS分支来提取各自的特征，然后融合向量化的特征进行分类。

传统的融合方式主要分为两种，一种是对应位置像素值直接进行相加，一种是直接将向量特征拼接在一起，这种通过元素(加)或者向量(叠)的融合方式，直接简单粗暴地合并两个分支的不同属性的特性。事实上，这相当于需要让网络自己学会一种强大的映射关系，而这种映射关系又不能很好地将矢量化的特征与不同的属性合并在一起。我们希望通过采用深度学习的视角，找到更好的解决方案。为此，我们提出了一种针对多分辨率遥感图像分类的深度学习框架。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于多视点深度特征融合SENet网络的分类方法，在MS和PAN图像在提取特征阶段之前，首先需要将MS和PAN的图像块进行提前混合，然后设计相应的网络SQUEEZE-AND-EXCITATION实现特征的逐渐融合。

本发明采用以下技术方案：

一种基于多视点深度特征融合SENet网络的分类方法，包括以下步骤：

S1、从数据集中读入多光谱影像，包括配准后的PAN和MS图像数据以及对应的只有部分区域的类标ground truth图；

S2、利用读入的MS和PAN图像进而构造MS_fusion和PAN_fusion；