[发明专利]一种基于多视点深度特征融合SENet网络的分类方法

权利要求书

1.一种基于多视点深度特征融合SENet网络的分类方法，其特征在于，包括以下步骤：

S1、从数据集中读入多光谱影像，包括配准后的PAN和MS图像数据以及对应的只有部分区域的类标ground truth图；

S2、利用读入的MS和PAN图像进而构造MS_fusion和PAN_fusion，具体为：

S201、利用MS data制作MS_fusion为：

MS_fusion＝IIHS{I_fusion，H,S}

其中，IIHS为反色彩空间变换，I_fusion为MS的融合分量亮度的颜色，H为色度，S为饱和度，具体为：

S2011、保留MS的原始分辨率，将PAN采样到与MS相同的大小并表示为PAN1，然后将MS从RGB空间分解为IHS空间；

S2012、对PAN1和MS的I分量分别进行离散小波变换；

S2013、保留MS原有的低频平滑分量，将PAN对应的高频分量加入到其他三个高频分量中看，通过反离散小波变换得到融合分量I_fusion；

S2014、将得到的I_fusion分量与原H、S分量反变换为RGB空间；

S202、利用PAN data制作PAN_fusion为：

其中，LL_PAN为PAN图经过离散小波变换之后的的低频分量，LH_PAN为PAN图的水平高频分量，HL_PAN为PAN图的垂直高频分量，HH_PAN为PAN图的对角高频分量，为色度分量的水平高频部分，为色度分量的垂直高频部分，为色度分量的对角高频部分，具体为：

S2021、将MS的光谱信息加入PAN，将MS图的I分量向上采样到与PAN相同的大小，表示为I1，然后用DWT分别对PAN和I₁进行变换；

S2022、保留原PAN的低频平滑(LL)分量，将I₁对应的高频分量加入到其他三个高频分量中，最后通过IDWT得到融合分量PAN_fusion；

S3、构造多视点深度特征融合的SQUEEZE-AND-EXCITATION分类网络；从PAN和MS图像中提取一对对应的图像块作为输入，PAN的大小为64*64*1，MS的大小为16*16*4，利用切片的方式进行截取，对数据进行预处理；使用三个模块提取融合特征，每个模块的输出是下一个模块的输入，进行特征提取；将获得的特性经过池化后，转换为一个特征向量，并经过三个完全连接的层，最终估计出PAN和MS块对的每一类概率；

S4、使用交叉熵损失构造网络的损失函数；

S5、超参数的调整；

S6、用训练数据集对分类模型进行训练，得到训练好的分类模型；

S7、将测试数据集的样本块作为训练好的分类模型的输入，利用训练好的分类模型对测试数据集进行分类。

2.根据权利要求1所述的基于多视点深度特征融合SENet网络的分类方法，其特征在于，步骤S2013中，融合分量I_fusion为：

其中，为下采样PAN图之后的水平高频分量，为下采样PAN图之后的垂直高频分量，为下采样PAN图之后的对角高频分量，DWT(I)为对I分量求解离散小波变换。

3.根据权利要求1所述的基于多视点深度特征融合SENet网络的分类方法，其特征在于，步骤S3中，预处理具体为：

S3011、混入PAN和MS得到PAN_fusion和MS_fusion，PAN和MS块都经过两个卷积层，PAN特征图与MS特征图具有相同的维数；

S3012、采用串联方式融合PAN和MS。

4.根据权利要求1所述的基于多视点深度特征融合SENet网络的分类方法，其特征在于，步骤S3中特征提取具体为：

S3021、通过一个SENet块通过学习的方式自动获取每个特征通道的重要度，然后根据重要度对有用特征进行增强；

S3022、将SENet块的输出特征加入到SENet块的输入特征中，补偿SENet过程中全局池化导致的有用信息的丢失；

S3023、用三种不同大小的卷积核对特征进行卷积运算。