[发明专利]基于光谱约束和残差注意力网络的高光谱全色锐化方法

说明书

本发明公开了一种基于光谱约束和残差注意力网络的高光谱全色锐化方法，主要解决现有技术中无法完全利用全色图像空间信息，锐化结果失真严重的问题。本发明的具体步骤如下：(1)生成训练集；(2)对低分辨率高光谱图像块进行空间对齐；(3)对单通道全色图像块进行光谱对齐；(4)构建残差注意力网络；(5)使用含有光谱约束的损失函数训练残差注意力网络；(6)使用训练好的残差注意力网络对高光谱图像进行全色锐化。本发明使了三维注意力模块和卷积模块构建残差注意力网络，并使用光谱约束的损失函数进行优化训练，具有锐化结果失真低，光谱和空间信息保留性能平衡的优点。

技术领域

本发明属于图像处理技术领域，更进一步涉及高光谱图像锐化技术领域中的一种基于光谱约束和残差注意力网络的高光谱全色锐化方法。本发明可用于增强高光谱图像的空间分辨率，从为基于高光谱图像的目标识别、地物分类等下游任务的提供更可靠的数据。

背景技术

高光谱图像是一种具有宽波段范围高光谱分辨率信息的遥感图像，其可分辨的目标地物种类数量相较于其他遥感图像大大增加，精细度也更高。然而，由于硬件限制高光谱图像的空间分辨率往往较低。与此同时，全色图像是一种仅具有单波段信息但是空间分辨率非常高的遥感图像。对基于高光谱图像的地物分类、图像分割、异常检测等任务而言，往往需要既具有高光谱分辨率，又具有高空间分辨率的遥感图像。因此，通过对高光谱图像和全色图像的融合获得高分辨率高光谱图像，即进行高光谱全色锐化，对于城市建设、铁路建设、桥梁建设等基础建设领域具有重要意义，在国家经济发展过程中具有重大价值。现有的基于深度学习的高光谱全色锐化算法通常是将全色图像中的高频细节信息提取出来作为辅助信息，或者直接将全色图像送入融合网络。无法充分利用全色图像中的高分辨率空间信息，往往融合结果的空间信息失真严重，造成了光谱和空间保留性能的不平衡问题。此外，高光谱全色锐化问题是一种涉及空间和光谱的高维问题，在图像融合过程中存在大量信息冗余，且需要的融合网络深度较深，容易出现梯度消失或梯度爆炸等问题，导致融合结果不理想。

西安理工大学在其申请的专利文献“基于深度细节注入网络的高光谱全色锐化方法”(专利申请号：CN202110602214.6，申请公布号：CN 113284067 A)中提出了一种基于深度细节注入网络的高光谱全色锐化方法。该方法使用人工构建的深度细节注入网络模型用于解决高光谱全色锐化问题，该方法实现的步骤为：(1)选取两种高光谱图像的数据集，两种高光谱图像的数据集分别覆盖室内场景和室外场景；(2)把数据集中低分辨率的高光谱图像先进行上采样，然后和全色图像进行联合，输入到卷积层中提取联合图像的浅层特征；(3)将提取到的浅层特征再次送到卷积层中，进一步的提取浅层特征；然后将第二次提取到的浅层特征输入到残差密集块网络中；最后对所有的残差密集块进行一次全局特征融合得到联合图像的层次特征；(4)将浅层特征和层次特征进行残差运算；最后进行一次卷积运算得到基于深度细节注入网络的高光谱全色锐化方法的融合结果。该方法使用多层次特征进行细节特征提取，解决了高光谱全色锐化问题，但是，该方法仍然存在的不足之处是，虽然该方法网络设计的目的是注入空间细节，但是全色图像仍然以单层通道级联的方式输入网络，由于深度神经网络的训练近似一种黑盒过程，这种方式无法保证全色图像中的空间信息被完全利用，因此融合结果仍存在空间失真，导致空间和光谱保留性能不平衡。同时，该方法简单的上采样方式进行高光谱和全色图像的空间对齐，会在过程中损失大量的信息，影响融合性能。