[发明专利]一种低能见度进近飞行多模态监视图像增强方法

说明书

本发明公开了一种低能见度进近飞行多模态监视图像增强方法，多模态图像增强处理技术领域，该方法基于MSRCR对红外热成像图像进行增强、基于多曝光图像融合法对可见光图像进行增强；然后对增强后的图像采用基于轮廓特征主方向的多模态图像自动配准方法进行配准；最后基于图像金字塔的多模态图像融合方法进行融合处理，将红外信息与可见光信息配准融合到一幅图像中，实现特征信息互补、减少冗余信息，为飞行员在低能见度进近飞行情况下的监视视野进行增强。

技术领域

本发明涉及多模态图像增强处理技术领域，具体涉及一种低能见度进近飞行多模态监视图像增强方法。

背景技术

飞机进近着陆阶段是安全飞行的重要环节，该阶段大部分情况下是依靠机长的目视情况进行着陆，因此存在很大安全隐患，此阶段也是飞行事故的易发点。如果能在飞机进近着陆阶段为机长提供真实有效的飞行态势和窗外视景，并增强飞行员视景，则可以帮助机长进行正确感知与操作，降低飞机进近着陆阶段飞行事故发生率。为解决此问题，利用先进的红外热成像与可见光等光电传感器，通过红外热成像获取场景温度辐射强度信息，通过可见光成像获取目标纹理、颜色和轮廓等信息，再将红外信息与可见光信息配准融合到一幅图像中，生成多模态融合图像，提升飞行员在低能见度进近飞行情况下的视野能见度。

在图像取景时，由于传感器的装配差异以及拍摄时间、距离和视角等客观因素，会导致光电传感器监视图像存在尺度差异、视角差异、仿射变形、难以提取相似几何特征等问题，从而产生多模态图像特征描述符相关度低、配准准确率低等问题。目前多模态融合算法主要分为像素层、特征层和决策层图像融合。像素级融合需要在待融合图像严格配准下进行，是在底层像素层面上对图像进行融合，可以最大限度保留原图像的像素信息，但运算量较大。特征级融合是从待融合图像中提取特征信息，比如对边缘信息、纹理信息和区域信息等进行综合分析与处理，将这些特征有选择性地保留到融合图像中。决策级图像融合属于最高层次的融合过程，通过对待融合图像的特征信息进行分类和识别，根据一定准则做出最优决策。多模态图像融合需要综合颜色、纹理、热辐射等信息，传统融合算法效果一般，难以满足低能见度进近飞行视野需求。

发明内容

本发明的目的在于克服现有技术的不足，提供一种低能见度进近飞行多模态监视图像增强方法，包括以下步骤：

步骤1：采集进近飞行过程中监视视野的红外热成像和可见光图像，分别通过MSRCR算法对红外热成像进行增强处理、基于多曝光图像融合法对可见光图像进行增强处理；

步骤2：分别对增强处理后的红外热成像、可见光图像进行图像轮廓特征提取，基于图像轮廓特征中的角点特征进行特征匹配，基于角点特征匹配结果利用最小二乘法计算分别得到红外热成像、可见光图像的多模态图像配准图像；

步骤3：分别对红外热成像、可见光图像的多模态图像配准图像进行塔形分解变换，得到多层塔形分解分量，将同一层数的红外热成像的塔多模态图像配准图像塔形分解分量与可见光图像的多模态图像配准图像塔形分解分量进行融合，得到多组融合分量；

步骤4：将多组融合分量进行逆向塔形变换，得到多模态融合图像，为低能见度进近飞行情况下的监视视野图像进行增强。

优选的，所述步骤1中，通过MSRCR算法对红外热成像进行增强时，还包括以下步骤：

步骤11：将红外热成像转换到HSV颜色空间，对HSV颜色空间进行颜色空间分离，得到H通道分量图像、S通道分量图像、V通道分量图像；

步骤12：H通道分量图像、S通道分量图像、V通道分量图像均依次进行入射光照估计、去除入射光照、加权平均处理后，合并为新的颜色空间；

步骤13：采用MSRCR算法通过色彩校正系数对新的颜色空间进行合并和颜色恢复。

优选的，所述步骤13中，MSRCR算法通过色彩校正系数对图像恢复颜色时的数学表达式如下：