[发明专利]基于特征循环融合的多帧红外图像超分辨率方法和系统

权利要求书

1.一种基于特征循环融合的多帧红外图像超分辨率方法，其特征在于，包括：

步骤S1、将高分辨率红外图像序列缩小为低分辨率红外图像序列；

步骤S2、将所述低分辨率红外图像序列输入至超分辨率网络进行训练，以对所述低分辨率红外图像序列进行特征图提取、特征图融合及图像重建，对重建后的图像进行上采样，得到高分辨率红外特征图序列；

步骤S3、将所述高分辨率红外特征图序列和所述低分辨率红外图像序列双三次差值进行相加，得到超分辨率重建结果。

2.根据权利要求1所述的基于特征循环融合的多帧红外图像超分辨率方法，其特征在于，还包括：

步骤S4、确定所述超分辨率重建结果与所述高分辨率红外图像序列之间的损失，基于梯度下降法优化所述超分辨率网络的网络参数，重复训练所述步骤S1至所述步骤S3，直至达到预设迭代次数。

3.根据权利要求2所述的基于特征循环融合的多帧红外图像超分辨率方法，其特征在于，还包括：

步骤S5、基于所述超分辨率网络对输入的低分辨率红外图像序列进行超分辨率处理，以获取测试结果图。

4.根据权利要求1所述的基于特征循环融合的多帧红外图像超分辨率方法，其特征在于，所述步骤S1具体包括：

对高分辨率红外图像序列进行下采样，并进行数据增强，得到翻转、旋转后的低分辨率红外图像。

5.根据权利要求1所述的基于特征循环融合的多帧红外图像超分辨率方法，其特征在于，所述步骤S2具体包括：

步骤S21、将所述低分辨率红外图像序列输入至超分辨率网络，基于所述超分辨率网络的特征提取模块提取低分辨率红外特征图序列；

步骤S22、将所述低分辨率红外特征图序列进行循环级联融合，得到引入前后帧信息的特征图融合结果；

步骤S23、将所述特征图融合结果输入至所述超分辨率网络的重建模块，对所述重建模块输出的图像进行上采样，得到高分辨率红外特征图序列。

6.根据权利要求5所述的基于特征循环融合的多帧红外图像超分辨率方法，其特征在于，所述步骤S22具体包括：

将所述低分辨率红外特征图序列输入至循环融合模块，按顺序依次循环融合低分辨率红外特征图序列F_t-1、F_t、F_t+1，循环输入为H_t-1、F_t；其中，循环第一次的H_t-1随机生成，H_t-1向F_t对齐，对齐方法为级联金字塔可变对齐法；

基于循环融合模块将对齐结果与F_t进行融合，循环融合模块为20层的残差模块，残差卷积核为3x3，数量为64，去除了批归一化层；

融合结果为H_t，作为本次循环的输出传至下一次循环进行特征信息的传递。

7.根据权利要求6所述的基于特征循环融合的多帧红外图像超分辨率方法，其特征在于，所述步骤S22中，循环次数为所述低分辨率红外特征图序列的数量的N倍，N≥2；

所述循环融合模块的循环顺序为第一帧到最后一帧，再从最后一帧到第一帧。

8.一种基于特征循环融合的多帧红外图像超分辨率系统，其特征在于，包括：

预处理模块，将高分辨率红外图像序列缩小为低分辨率红外图像序列；

特征图提取模块，将所述低分辨率红外图像序列输入至超分辨率网络进行训练，以对所述低分辨率红外图像序列进行特征图提取、特征图融合及图像重建，对重建后的图像进行上采样，得到高分辨率红外特征图序列；

重建模块，将所述高分辨率红外特征图序列和所述低分辨率红外图像序列双三次差值进行相加，得到超分辨率重建结果。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于特征循环融合的多帧红外图像超分辨率方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述基于特征循环融合的多帧红外图像超分辨率方法的步骤。