[发明专利]一种基于非对齐RGB图像的融合高光谱超分辨率方法和系统

权利要求书

1.一种基于非对齐RGB图像的融合高光谱超分辨率方法，其特征在于，

将待处理的图像称为低分辨率高光谱图像，将经过超分辨率之后的图像称为相对的高分辨率高光谱图像；高分辨率RGB图像与高分辨率高光谱图像拥有相同的分辨率；高分辨率与低分辨率之间的分辨率差距，取决于模型运行时指定的缩放倍数；

以低分辨率的高光谱图像以及其对应的高分辨率RGB参考图像作为输入，并且不要求RGB参考图像与高光谱图像完全对齐；

步骤1：构建神经网络；

首先，基于深度学习理论，针对RGB图像与高光谱图像，分别构建深度RGB图像特征提取器和高光谱图像特征提取器；使用这两个特征提取器，分别提取RGB参考图像和高光谱图像的多层级特征；

之后，使用多层级的深度光流估计网络，将RGB参考图像与高光谱图像的多层级特征进行对齐；

得到对齐的RGB图像特征以及高光谱图像特征之后，构建深度自适应特征解码器，对对齐后的特征进行解码，重建出高分辨率的高光谱图像；

步骤2：训练阶段；

使用处理后的非对齐高光谱融合数据集，迭代训练步骤1构建的神经网络的可训练参数并进行存储；

之后，基于SIFT和RANSAC的对齐算法，对图像对进行对齐，使用光谱响应函数合成高光谱图像对应的合成RGB图像；使用基于直方图的颜色匹配算法，对合成RGB图像以及非对齐参考RGB图像进行颜色匹配；将采集到的高分辨率高光谱图像降采样，得到合成低分辨率高光谱图像；将处理好的数据作为训练数据；

步骤3：使用阶段，利用步骤1训练阶段得到的模型参数，根据输入的高光谱图像和RGB参考图像，预测对应的高分辨率高光谱图像；

首先将合成低分辨率高光谱图像以及配对的RGB图像输入深度神经网络，获得预测的高分辨率高光谱图像；然后，将预测图像与训练场景的真实高分辨率图像，计算均方误差损失函数；之后，使用反向传播技术计算深度神经网络各个节点的梯度，使用参数优化器更新网络参数；重复使用数据集中的每个样本，反复执行更新，直至损失降到设定阈值以下。

2.一种基于非对齐RGB图像的融合高光谱超分辨率系统，其特征在于，包括数据采集子系统、数据处理子系统、训练子系统和推理子系统；

其中，数据采集子系统用于采集配对的非对齐高分辨率RGB图像与低分辨率高光谱图像，这些数据将被用于训练；

数据处理子系统用于对数据采集子系统采集到的不对齐图像对进行处理，将处理好的数据作为训练数据；

训练子系统使用经数据处理子系统处理过的训练数据，对深度神经网络模型进行训练；

推理子系统使用训练好的深度神经网络模型进行推理，其输入是实际应用场景下的低分辨率高光谱图像以及不对齐的配对高分辨率RGB图像；在每次推理过程中，推理子系统无需重复训练，每次均使用相同的深度神经网络模型；

数据采集子系统的输出端与数据处理子系统的输入端相连，后者负责处理前者的数据；数据处理子系统的输出端与训练子系统的输入端相连，后者接受前者提供的数据，完成模型训练；训练子系统的输出端与推理子系统的输入端相连，后者使用前者训练好的模型，在实际部署时进行推理。

3.如权利要求2所述的一种基于非对齐RGB图像的融合高光谱超分辨率系统，其特征在于，数据采集子系统包含高光谱相机、RGB相机和相机固定装置；

其中，高光谱相机与RGB相机平行固定在相机固定装置上；通过调整两台相机的角度与焦距，使其能够拍摄出包含同一场景的清晰图像。