[发明专利]基于孪生网络的机载红外图像超分辨率与噪声去除算法

说明书

本发明提供一种基于孪生网络的机载红外图像超分辨率与噪声去除算法，包括：步骤1：构建训练集与测试集；步骤2：构建基础孪生网络框架；步骤3：训练与测试。本发明利用孪生网络的两个分支共享权重的特点，既能达到去除噪声的目的，同时提高图像的分辨率。同时使用局部跳跃连接与全局跳跃连接，在充分用低频信息的同时加速网络收敛。此外，加入空间注意力机制，自适应调整空间域权重，突出目标与背景的对比度，更好地服务于目标跟踪与目标检测等工作。

技术领域

本发明属于图像处理技术领域，涉及一种基于孪生网络的红外图像超分辨率与噪声去除算法，特别适合于对包含噪声的低分辨率红外图像的质量进行提升。

背景技术

航空遥感利用航空飞行器作为传感器运载工具，是一种在空中获取地面信息的多功能综合性探测技术，广泛应用于交通预警、道路援助、地形测绘和军事侦察等诸多场景。对于航拍图像的质量进行提升是一项融合光学成像、机器视觉、人工智能、图像处理等诸多领域的高新技术，是实现智能航空监控系统和智能化武器侦察瞄准的基础与关键技术。航空相机依托于飞行器具有快速部署和运动范围广阔的优势，可以针对地面目标进行全方位、多角度、主动式的进行影像采集。因此，航拍图像无论在军事还是民用上都已得到了较广泛的应用。随着各种数字仪器和数码产品的普及，图像和视频已成为人类生活中最常用的信息载体，它们包含着物体大大量信息，成为人们获取外界岩石信息的主要途径。然而在图像的获取、传输和存储过程中常常会受到各种噪声的干扰和影响而使图像质量下降。同时，在成像过程中，图像会因光学透镜扭曲变形。大气模糊、传感器模糊，光学模糊和运动模糊等一系列干扰因素的影响，只能得到相对低分辨率的图像。种种因素使得所得图像质量下降，并且图像预处理算法的好坏又关系到后续图像处理的效果，如图像分割、目标检测、边缘提取等。所以为了更好地服务于后续工作，很有必要对图像进行的质量进行提升，获得高质量的数字图像。

图像质量提升的最终目的是改善给定的图像，解决实际图像由于分辨率低、噪声干扰而导致图像质量下降的问题。通过超分辨率与去噪技术可以有效的提高图像质量，增大信噪比，更好地体现原来图像所携带的信息，作为一种重要的预处理手段，人们对图像超分辨率算法与图像去噪算法分别进行了广泛的研究。现有的图像超分辨率方法中，基于插值的方法通常利用低分辨率图像栅格上已知像素值来估计高分辨率图像栅格上的未知像素值，常见的插值方法有：多项式插值和基于边缘驱动的插值。虽然这些方法计算复杂度小，但易造成重建的高分辨率图像出现边缘平滑、模糊和混叠等失真现象。为了突破传统图像插值的缺陷，基于重建的方法结合图像退化过程，利用图像先验建立超分辨率模型来估计高分辨率图像。基于学习的方法是在样本数据上利用机器学习高低分辨率图像之间的映射关系，并把这种学习的映射关系用于高分辨率图像的重构，其可以很好的恢复图像高频信息。常见去噪算法主要分为空间域滤波、变换域滤波与形态学噪声滤除器等。空间域滤波是在原图上直接进行数据运算，对像素的灰度值进行处理。常见的空间域图像去噪算法有邻域平均法、中值滤波、低通滤波等。图像变换域去噪方法是将图像从空间域转换到变换域，再对变换域中的变换系数进行处理，再进行反变换将图像从变换域转换到空间域，以此达到去除图像噪声的目的。形态学噪声滤除器首先对有噪声图像进行开运算，可选择结构要素矩阵比噪声尺寸大，因而开运算的结果是将背景噪声去除。再对前一步得到的图像进行闭运算，以达到对图像中噪声的去除。

总结上述技术，可以看出单一图像超分辨率与噪声去除算法都已经取得了一定的效果，但是同时实现图像超分辨率与噪声去除仍然需要做出较大的改进，以此来更好地完成图像质量提升。此外，深度学习与航空遥感领域的结合研究，将促进航空目标探测系统朝着智能化方向发展，实现精确检测识别分析，不仅能够有效服务于检测识别目标信息，还能够提高在军事侦察、日常监控、安全环境预警等实际应用的能力，对于推动航空科学技术发展具有重要意义。

发明内容

本发明针对现有图像质量提升技术的单一性与不足，提出了一种基于孪生网络的红外图像超分辨率与噪声去除算法。该算法既能提升机载嵌入式平台图像的分辨率，又能实现对图像中的噪声的有效去除，进一步提升图像质量，使得更好地服务于如目标检测、图像分割、边缘提取等工作。