[发明专利]基于AAE提取空间特征的高光谱和全色图像融合方法

权利要求书

1.一种基于对抗自编码器提取空间特征的高光谱图像和全色图像的融合方法，其特征在于，包括有如下步骤：

(1)获取图像数据集，对数据进行预处理：

(1.1)输入原始图像数据：从公开数据集中获取原始高光谱图像H_REF，作为参考的高光谱图像；

(1.2)数据预处理：利用给定参考的即原始高光谱图像H_REF，根据Wald协议得到合成的高光谱图像和合成的全色图像；利用双三次插值法生成四倍下采样的低空间分辨率高光谱图像H；利用拉普拉斯金字塔超分辨率网络将低空间分辨率的高光谱图像插值为高空间分辨率的高光谱图像，具体操作为将H输入拉普拉斯超分辨率网络，进行四倍上采样，使得空间维度与全色图像大小相同，得到上采样后的高光谱图像，记为利用平均融合的方法，将原始高光谱图像H_REF进行可见光波段融合，得到全色图P；

(2)构建输入高光谱图像的对抗自编码器：对抗自编码器包括有编码器、判别器和解码器，编码器、解码器和判别器的网络结构的设计都是基于基础网络结构；

基础网络结构为：输入层→隐藏层→输出层；

编码器网络参数设置如下，将输入层的节点总数设置为高光谱图像的波段总数、将隐藏层的节点总数设置为500、将输出层的节点总数设置为高光谱图像特征的波段数；

解码器网络参数设置如下，将输入层的节点总数设置为高光谱图像特征的波段数、将隐藏层的节点总数设置为500、将输出层的节点总数设置为高光谱图像的波段数；

编码器，即生成器，隐藏层由两层全连接层构成，激活函数使用LeakyRelu；解码器由两层全连接层构成，激活函数使用LeakyRelu和Sigmoid；判别器使用全连接层→LeakyRelu→全连接层的构成形式；

设置学习率为1e-4，训练批次大小为输入网络高光谱图像空间维度大小，损失函数包括自编码器损失函数、生成器损失函数和判别器损失函数，优化过程使用Adam算法优化；

(3)训练对抗自编码器，提取高光谱图像的空间特征：将上采样后的高光谱图像作为对抗自编码器的输入进行训练，训练过程包括有，生成器和判别器进行的对抗学习以及误差最小化的图像重构，训练优化过程中当损失函数收敛或训练步数大于设定步数时停止训练；从训练完成的网络的编码器输出中，获取提取的高光谱图像的低维度空间特征，作为高光谱图像的空间信息；

(4)对全色图进行增强处理：利用自适应直方均衡和高斯-拉普拉斯算法对全色图像进行增强处理，得到了增强处理后的全色图；

(5)获取增强后的全色图的空间细节：对增强后的全色图像进行高斯滤波，并对滤波前后的图像作差，获得增强后全色图像的空间细节D；

(6)融合高光谱图像和全色图像的空间信息：利用自适应融合方式，融合高光谱图像空间信息和全色图像空间信息，得到原始高光谱图像的总空间信息；

(7)构建增益矩阵：利用增益矩阵公式构造增益矩阵；

(8)得到高空间分辨率的高光谱图像：利用构造得到的增益矩阵和提取的全色图的空间细节D以及上采样得到的高光谱图像共同得到原始高光谱图像的高空间分辨率的高光谱图像；

将上采样后的高光谱图像，与提取的空间细节按照下式相融合，得到高空间和光谱分辨率的图像：

l＝1,2,...,n，其中，表示融合后的高光谱图像，是融合图像的第l个波段， G^l是增益矩阵 。