[发明专利]一种低能见度进近飞行多模态监视图像增强方法

权利要求书

1.一种低能见度进近飞行多模态监视图像增强方法，其特征在于，包括以下步骤：

步骤1：采集进近飞行过程中监视视野的红外热成像和可见光图像，分别通过MSRCR算法对红外热成像进行增强处理、基于多曝光图像融合法对可见光图像进行增强处理；

步骤2：分别对增强处理后的红外热成像、可见光图像进行图像轮廓特征提取，基于图像轮廓特征中的角点特征进行特征匹配，基于角点特征匹配结果利用最小二乘法计算分别得到红外热成像、可见光图像的多模态图像配准图像；

步骤3：分别对红外热成像、可见光图像的多模态图像配准图像进行塔形分解变换，得到多层塔形分解分量，将同一层的红外热成像塔形分解分量与可见光图像塔形分解分量进行融合，得到多组融合分量；

步骤4：将多组融合分量进行逆向塔形变换，得到多模态融合图像，为低能见度进近飞行情况下的监视视野图像进行增强；

所述步骤1中，通过MSRCR算法对红外热成像进行增强时，还包括以下步骤：

步骤11：将红外热成像转换到HSV颜色空间，对HSV颜色空间进行颜色空间分离，得到H通道分量图像、S通道分量图像、V通道分量图像；

步骤12：H通道分量图像、S通道分量图像、V通道分量图像均依次进行入射光照估计、去除入射光照、加权平均处理后，合并为新的颜色空间；

步骤13：采用MSRCR算法通过色彩校正系数对新的颜色空间进行合并和颜色恢复；

所述步骤13中，MSRCR算法通过色彩校正系数对图像恢复颜色时的数学表达式如下：

式中，为第个色彩通道MSR算法结果，为MSRCR算法结果，计算表达式如下：

表示第个色彩通道的图像像素点，表示第个色彩通道的图像像素点；表示该红外热成像图像二维坐标系的横轴，表示该红外热成像图像二维坐标系的纵轴；表示第个新颜色空间中色彩通道的颜色恢复因子，即色彩校正系数；表示颜色空间的映射函数；为增益常数，为受控制的非线性强度；

所述步骤1中，基于多曝光图像融合法对可见光图像进行增强时，还包括以下步骤：

步骤14：将可见光图像的RGB颜色空间变换成HSV颜色空间，再对HSV颜色空间进行HSV颜色空间分离，得到H通道分量图像、S通道分量图像、V通道分量图像；

步骤15：生成V通道分量图像的弱曝光图像和强曝光图像，再将V通道分量图像与弱曝光图像和强曝光图像进行融合重构，得到融合重构后的V通道分量图像；

步骤16：将H通道分量图像、S通道分量图像、融合重构后的V通道分量图像重新进行合并，并转换回RGB颜色空间；

所述步骤2中，基于图像轮廓特征中的角点特征进行特征匹配时还包括以下步骤：

步骤21：提取图像轮廓特征中的角点特征后，在图像曲率尺度空间下计算每个角点特征的轮廓中线特征主方向，建立SIFT描述符；

步骤22：利用FLANN方法进行特征粗匹配后，再利用随机抽样一致算法进行特征精匹配，得到角点特征匹配结果

2.根据权利要求1所述的一种低能见度进近飞行多模态监视图像增强方法，其特征在于，所述步骤2中，对增强后的红外热成像和增强后的可见光图像进行图像轮廓特征提取时，将增强后的红外热成像和增强后的可见光图像转换为灰度颜色空间。