[发明专利]基于特征循环融合的多帧红外图像超分辨率方法和系统

说明书

本发明实施例提供一种基于特征循环融合的多帧红外图像超分辨率方法和系统，使用了循环融合特征的机制，按照输入帧的顺序依次循环融合特征，并将融合结果传至下一次循环进行信息的传递。于是处理多帧时不会带来太多时间上的增加，同时能输出高分辨率结果；引入金字塔级联可变形卷积对齐法，并对其进行了修改。可变形卷积对齐效果提升的主要原因是偏移组数的提升；不同的偏移组数之间既可以相互补充，提升了容错率，又允许网络聚合来自于不同位置的信息。

技术领域

本发明实施例涉及光学图像处理技术领域，尤其涉及一种基于特征循环融合的多帧红外图像超分辨率方法和系统。

背景技术

红外线的波长在0.76um-1000um之间，可按波长分为近红外线、长红外线、远红外线。从近红外线到远红外线，波长依次增大，能量依次减小。长波长红外线是热成像的区域，热像仪利用热而不是可见光产生图像。红外热成像技术在工业控制、电力检测、安防监控等领域有着重要的作用，但是红外热成像所用探测器像元尺寸进一步减小困难，红外热成像系统受衍射极限制约，以及成像过程中复杂噪声的影响，红外热成像目前还存在成像分辨率低、信噪比小等缺点。

基于多幅图像的超分辨率可以比单幅图像引入更多的先验知识，对于多帧红外图像超分辨率，有研究组提出基于微扫描成像的图像超分辨率重建技术。微扫描需要与硬件结构配合得到具有微小位移的图像序列，融合序列图像来提高成像质量。微扫描法要求多帧图像之间是亚像素位移，对硬件结构的精度要求极高，且成像场景不存在局部移动。

发明内容

本发明实施例提供一种基于特征循环融合的多帧红外图像超分辨率方法和系统，使用了循环融合特征的机制，按照输入帧的顺序依次循环融合特征，并将融合结果传至下一次循环进行信息的传递，对输入低分辨率红外图像的数量、大小并没有限制，输入任意帧数红外图像，都可以得到相对高分辨率的结果。

第一方面，本发明实施例提供一种基于特征循环融合的多帧红外图像超分辨率方法，包括：

步骤S1、将高分辨率红外图像序列缩小为低分辨率红外图像序列；

步骤S2、将所述低分辨率红外图像序列输入至超分辨率网络进行训练，以对所述低分辨率红外图像序列进行特征图提取、特征图融合及图像重建，对重建后的图像进行上采样，得到高分辨率红外特征图序列；

步骤S3、将所述高分辨率红外特征图序列和所述低分辨率红外图像序列双三次差值进行相加，得到超分辨率重建结果。

作为优选的，还包括：

步骤S4、确定所述超分辨率重建结果与所述高分辨率红外图像序列之间的损失，基于梯度下降法优化所述超分辨率网络的网络参数，重复训练所述步骤S1至所述步骤S3，直至达到预设迭代次数。

作为优选的，还包括：

步骤S5、基于所述超分辨率网络对输入的低分辨率红外图像序列进行超分辨率处理，以获取测试结果图。

作为优选的，所述步骤S1具体包括：

对高分辨率红外图像序列进行下采样，并进行数据增强，得到翻转、旋转后的低分辨率红外图像。

作为优选的，所述步骤S2具体包括：

步骤S21、将所述低分辨率红外图像序列输入至超分辨率网络，基于所述超分辨率网络的特征提取模块提取低分辨率红外特征图序列；

步骤S22、将所述低分辨率红外特征图序列进行循环级联融合，得到引入前后帧信息的特征图融合结果；

步骤S23、将所述特征图融合结果输入至所述超分辨率网络的重建模块，对所述重建模块输出的图像进行上采样，得到高分辨率红外特征图序列。

作为优选的，所述步骤S22具体包括：