[发明专利]基于频带间注意力机制对抗学习高光谱单图超分辨率方法

说明书

本发明属于高光谱图像超分辨率处理技术领域，公开了一种基于频带间注意力机制对抗学习高光谱单图超分辨率方法，搭建三维生成对抗网络模型，设置其隐含层层数、激活函数、训练函数、损失函数、学习率；将频带注意力机制嵌入生成网络的残差块之间；使用训练数据集对三维生成对抗网络模型进行训练，调整其内部参数；使用测试数据集对三维生成对抗网络模型进行检核，根据模型输出求平均峰值信噪比MPSNR、平均结构相似性指数MSSIM、平均均方根误差MRMSE和光谱角制图SAM，评价三维生成对抗网络模型的超分辨率处理性能。本发明是端对端可训练的高光谱单图超分辨率模型，能够有效实现高光谱图像空间分辨率的增强和光谱保真。

技术领域

本发明属于高光谱图像超分辨率处理技术领域，尤其涉及一种基于频带间注意力机制对抗学习高光谱单图超分辨率方法。

背景技术

目前，最接近的现有技术：高光谱图像超分辨率处理的目的是从低分辨的高光谱图像恢复出高分辨率的高光谱图像，打破高光谱图像成像设备的硬件限制。高光谱图像分辨率增强的方法很多，主要可以分为两类：基于单幅图像的超分辨率算法和基于多幅图像融合的超分辨率算法。基于多幅图像融合的高光谱超分辨率技术是通过将同一地物的高光谱图像与其他类型的图像去除冗余，合并互补信息，从而得到对当前地物的高光谱分辨率的描述图像。高光谱全色锐化法是一种基于多幅图像融合的典型算法，引起了很多的关注。高光谱锐化法可以分为五类：分量替换法，多分辨率分析法，贝叶斯法，基于矩阵分解的方法和混合法。分量替换法通常将高光谱图像投影到一个新的域中分离空间信息和光谱信息，再利用全色图像替换其中的空间信息分量。典型的分量替换法包括主成分分析算法，强度-色调-饱和度算法和正交变化算法等，但是这些算法往往会导致光谱失真；典型的多分辨率分析法有基于平滑滤波的强度调制，MTF-Generalized拉普拉斯金字塔，带有高通调制的MTF-Generalized拉普拉斯金字塔以及″a-trous″小波变换等。贝叶斯法是将高光谱锐化问题转化到一个特定的概率框架中，通过选择适当的先验分布对其进行正则化处理。基于矩阵分解的典型方法是耦合非负矩阵分解和非负稀疏编码等。混合法是不同算法的组合，如导引滤波器PCA以及几种PCA的变体。基于多幅图像融合的超分辨率方法因为同时有多幅图像作为输入，已知的准确信息较多，因此往往可以很好的提升空间信息。但是在实际应用中很难获得同一地物完全匹配的多幅图像，因此实用性不高，而且重构图像往往会有较大的光谱失真。

基于单幅图像的高光谱超分辨率算法不需要辅助图像，在实际应用中更具可行性。传统的超分辨率问题可以通过基于滤波的方法得到部分解决，如双线性和双三次插值等。但是基于滤波的方法往往导致边缘模糊和光谱失真，尤其当上采样因子较大时，这些问题表现的更为严重。基于深度学习的高光谱单图超分辨率方法往往具有比传统方法更好的超分辨率处理性能。三维卷积神经网络已经被证明可以用于高光谱图像超分辨率处理问题，但是普通的三维卷积神经网络不能很好地学习光谱带之间相关性，重构图像往往不能保持光谱的一致性。

对抗学习是一种目前广受关注的图像生成算法，已经成功应用于RGB图像超分辨率处理问题，这表明该方法可以获得高质量的重构图像。近年来，注意力机制广泛应用于各种网络中以提高网络的性能。Vasmani等人证明了注意力机制在机器翻译中的有效性；Hu等人提出了一种基于频带注意力机制残差网络的图像分类算法。同时，注意力机制已经被证明是全局信息融合和局部信息获取的有效方法。但是，注意力机制还没有应用于高光谱超分辨率图像处理问题中。

综上所述，现有技术存在的问题是：

(1)现有技术受限于成像系统的硬件设备，很难获得高分辨率的高光谱图像；基于多幅图像融合的超分辨率算法很难获得完全匹配的多幅图像，而且容易造成光谱失真。

(2)传统的基于单幅图像超分辨率算法往往导致边缘模糊和光谱失真，基于深度学习的高光谱单图超分辨率算法，没有考虑不同频带间的相关性，容易造成光谱失真。