[发明专利]一种基于非对齐RGB图像的融合高光谱超分辨率方法和系统

说明书

本发明涉及一种基于非对齐RGB图像的融合高光谱超分辨率方法和系统，属于超分辨率成像技术领域。首先基于深度学习理论，针对RGB图像与高光谱图像分别构建深度RGB图像特征提取器和高光谱图像特征提取器。使用特征提取器分别提取RGB参考图像和高光谱图像的多层级特征。使用多层级的深度光流估计网络，将RGB参考图像与高光谱图像的多层级特征进行对齐。当得到对齐的RGB图像特征以及高光谱图像特征之后，构建深度自适应特征解码器，对对齐后的特征进行解码，重建出高分辨率的高光谱图像。本方法无需显式的中间步骤与人工干预，仅使用高光谱相机、RGB相机以及必要的固定装置的情况下，利用拍摄到的不对齐的高分辨率RGB图像，对低分辨率高光谱进行空间超分辨率。

技术领域

本发明涉及一种基于非对齐RGB图像的融合高光谱超分辨率方法和系统，属于计算摄像学中的超分辨率成像技术领域。

背景技术

不同于传统黑白图像和RGB图像，高光谱图像在光谱维度上具有更为细致的划分，高光谱图像可能包含数百至数千个波段，因此，高光谱图像不仅可以获取到物体的图像特征，还可以获取物体的光谱特征。这种特性使得高光谱图像在各种探测领域极为实用，因为不同的实际物体会在电磁频谱中留下唯一的“光谱指纹”，这些指纹可以被用来识别物体的组成成分。例如，石油的光谱特征可以帮助矿物学家找到油田。

现有的高光谱成像设备，往往依赖于大量高灵敏度的传感器、高速电脑，以及海量存储设备来拍摄高光谱图像。这导致了高光谱成像系统十分复杂、价格昂贵。为降低成本，现有的商用高光谱相机往往会在保证光谱分辨率的情况下，牺牲部分空间分辨率。

高光谱超分辨率技术，旨在使用软件的方法来提高高光谱图像的空间分辨率。现有的高光谱分辨率技术根据输入可以分为两种，一种是只输入单张低分辨率高光谱图像，通过算法重建出缺失高频细节以提高空间分辨率，这种方法通常被称为高光谱单图超分。另一种是同时输入一张低分辨率的高光谱图像和一张匹配的高分辨率RGB图像，利用RGB的高分辨率空间信息辅助高光谱的超分辨率，这种方法被称为高光谱融合。

现有的高光谱单图超分算法，大部分依赖于深度学习方法。此类基于深度学习的高光谱单图超分算法，通常使用精心设计的深层非线性神经网络来对低分辨率高光谱图像到高分辨率高光谱图像的映射进行建模，然后利用相关数据以及合适的损失函数优化网络的参数进行训练，使其逼近真实的映射关系。这类方法往往能在一定的放大倍率内(小于四倍)取得相当不错的结果。但是，对于更大的放大倍率(大于四倍)，这类单图超分算法却无法取得令人满意的结果。

高光谱融合方法，利用匹配的高分辨率的RGB图像作为辅助，进行高光谱图像超分。此类方法，有些是基于优化方法设计各种先验约束，也有一些基于深度学习。得益于配对的高分辨率RGB图像，这类方法往往能够在高放大倍率上取得较高光谱单图超分方法更好的效果。其主要缺点在于，大部分现有方法都依赖于RGB图像和高光谱图像是精确对齐的，如果RGB参考图像与高光谱图像不对齐，则这类方法的超分效果则会大打折扣。

精确对齐的高分辨率RGB参考图像在实际应用中的获取并不容易，往往需要借助分光镜将输入光路分为两路，然后分别由高光谱相机和RGB相机同时进行成像。与此同时，为了实现精确对齐，整个成像系统还需要精确校准。这一系列要求，会大幅提升系统的复杂度，并使成本大幅增加，且由于分光镜的使用会进一步降低输入光路的亮度，对高光谱成像十分不利。

因此，围绕如何提升高光谱图像成像质量、降低整体系统成本，扩大高光谱图像应用场景，迫切需要一种能够在高分辨率RGB参考图像与低分辨率高光谱图像不完全对齐的情况下，仍能够保持较好表现的高光谱融合超分辨率方法与系统。

发明内容

本发明的目的是针对现有技术存在的不足，为减少现有高光谱融合超分辨率技术对RGB参考图像精确对齐的依赖，创造性地提出一种基于非对齐RGB图像的融合高光谱超分辨率方法和系统。

本发明采用以下技术方案实现。