[发明专利]序列图像红外小目标超分辨方法、装置、设备和存储介质

说明书

本申请涉及一种序列图像红外小目标超分辨方法、装置、设备和存储介质。所述方法获取多帧序列图像；构建序列图像红外小目标超分辨网络，该网络中：特征提取模块采用中心差分残差组对序列图像进行特征提取；注意力特征对齐模块对序列图像特征采用时空局部注意力模块进行帧间对齐；渐进融合模块利用时域距离先验将对齐的特征由粗到精进行融合；图像重构模块根据融合特征得到重构的高分辨率参考帧图像；采用多帧序列图像对该超分辨网络进行训练，利用训练得到序列图像红外小目标超分辨模型对序列图像进行处理，得到重构的高分辨率参考帧图像。本方法可提高图像分辨率，增大小目标对比度，恢复小目标高保真度细节信息，提升红外小目标检测性能。

技术领域

本申请涉及图像处理技术领域，特别是涉及一种序列图像红外小目标超分辨方法、装置、设备和存储介质。

背景技术

红外成像系统具有全天时全天候，穿透力强，灵敏度高，隐蔽性强等特点，被广泛应用于安防监控，遥感侦查，空天攻防等国防军事领域。现如今，低分辨率的红外图像已经逐渐难以满足实际任务的高需求。因此，提高红外图像的分辨率是一项关键任务。直观考虑，采用大尺寸的红外传感器阵列可以提升红外图像的分辨率，但是，由于传感器的技术局限和大尺寸红外传感器阵列的高昂成本，在实际工程应用中需要研究价格低廉且可靠性较高的后处理技术(例如图像超分辨算法)来提高红外图像的分辨率。

红外成像系统特殊的成像机理，以及针对红外图像超分辨场景的任务需求，对红外图像超分辨任务提出如下要求：1)红外图像纹理信息不丰富，但是边缘信息很重要，因此，超分辨的主要任务为恢复图像中的高频边缘信息。2)对超分辨图像的保真度要求比较高，要求尽量少的噪声和伪轮廓。3)红外图像信噪比较低且存在复杂噪声，要求算法的鲁棒性高。4)红外图像数据集不丰富，缺少真实场景的红外高低分图像对。5)面向任务需求(目标检测和识别)，需要针对性提升目标的强度，轮廓边缘清晰度和细节纹理特征。

现有红外图像存在分辨率不高、红外小目标对比度较低，细节较少的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能提高图像的分辨率，增大小目标的对比度，恢复小目标的高保真度细节信息，从而提升红外弱小目标的检测性能的序列图像红外小目标超分辨方法、装置、设备和存储介质。

一种序列图像红外小目标超分辨方法，所述方法包括：

获取多帧序列图像。

构建序列图像红外小目标超分辨网络，所述序列图像红外小目标超分辨网络包括特征提取模块、注意力特征对齐模块、渐进融合模块以及图像重构模块；所述特征提取模块采用中心差分残差组对序列图像进行特征提取；所述注意力特征对齐模块对提取的序列图像特征采用时空局部注意力模块进行帧间对齐，所述渐进融合模块利用时域距离先验将对齐的特征由粗到精进行特征融合，所述图像重构模块根据融合后的特征进行重构得到重构的高分辨率参考帧图像。

将多帧序列图像作为训练样本对所述序列图像红外小目标超分辨网络进行训练，得到序列图像红外小目标超分辨模型。

获取待测多帧序列图像，将所述待测多帧序列图像输入到所述序列图像红外小目标超分辨模型中，得到重构的高分辨率参考帧图像。

一种序列图像红外小目标超分辨装置，所述装置包括：

图像获取模块，用于获取多帧序列图像。

序列图像红外小目标超分辨网络构建模块，用于构建序列图像红外小目标超分辨网络，所述序列图像红外小目标超分辨网络包括特征提取模块、注意力特征对齐模块、渐进融合模块以及图像重构模块；所述特征提取模块采用中心差分残差组对序列图像进行特征提取；所述注意力特征对齐模块对提取的序列图像特征采用时空局部注意力模块进行帧间对齐，所述渐进融合模块利用时域距离先验将对齐的特征由粗到精进行特征融合，所述图像重构模块根据融合后的特征进行重构得到重构的高分辨率参考帧图像。