[发明专利]一种基于红外多波段图像自适应融合的目标识别方法

说明书

本发明公开了一种基于红外多波段图像自适应融合的目标识别方法，方法包括：获取相同场景的红外短波、中波、长波图像，保持红外短波、中波、长波图像之间的严格配准，并融合为一张多通道图像；使用改进的Faster RCNN网络进行目标识别训练，其中在Faster RCNN网络的骨架网络与区域建议网络之间增加特征融合模块，提高对于小尺度目标的检测精度；将融合后的多通道图像图像输入改进的Faster RCNN网络进行目标识别，输出目标识别结果。本发明容易实现，计算复杂度也低，相较于像素级融合，采用了无监督学习方式来融合不同来源的图像，对于不同场景的鲁棒性更强。

技术领域

本发明属于目标识别技术领域，尤其涉及一种基于红外多波段图像自适应融合的目标识别方法。

背景技术

目标的红外图像反映了其在对应波段的红外特性，不同波段的图像包含了不同的目标特征信息，这些信息往往具有互补性，将不同来源的信息进行融合，利用不同模态图像的信息互补性使融合图像对场景的描述更加全面，为识别提供更加丰富的数据支撑，相较于单波段图像，使识别精度进一步提高。按照融合层次的不同，图像融合可分为像素级、特征级和决策级。典型的像素级融合依赖手工设计的方法将多幅图像组合为一幅图像，对场景和干扰的适应性较差；特征级融合则是将不同来源图像的特征进行融合，鲁棒性较好，但算法的运算量将大大增加，尤其是对于卷积神经网络结构的算法；决策级融合则是将基于不同来源图像得到的结果进行融合，需要设计额外的应对措施来面对不同的决策。除此以外，这种高水平的融合无法很好地建立不同类型图像之间的内部特征关系，并成倍增加资源数量和运行时间。

发明内容

有鉴于此，本发明提出了一种基于红外多波段图像自适应融合的目标识别方法，由于目标在不同波段的图像中具有不同的特征信息，而这些信息往往具有互补性和合作性。因此本发明在识别时，将多波段信息进行融合，利用不同模态图像的信息互补性使融合图像对场景的描述更加全面，得到比仅使用单波段信息更加准确可靠的识别结果。特别适用于存在严重遮挡场景下的目标识别。

本发明公开的基于红外多波段图像自适应融合的目标识别方法，包括以下步骤：

获取相同场景的红外短波、中波、长波图像，保持所述红外短波、中波、长波图像之间的严格配准，并融合为一张多通道图像；

使用改进的Faster RCNN网络进行目标识别训练，所述改进的Faster RCNN网络在Faster RCNN网络的骨架网络与区域建议网络之间增加特征融合模块，提高对于小尺度目标的检测精度；

将融合后的多通道图像图像输入所述改进的Faster RCNN网络进行目标识别，输出目标识别结果。

进一步的，使用SE-Workbench仿真软件得到相同场景的红外短波、中波、长波图像。

进一步的，所述特征融合模块使用晚融合技术，使用concat方法将多个特征进行连接。

本发明的有益效果如下：

本发明针对远距离被动红外成像存在光照较差、观测视角不理想、目标尺寸较小、清晰度较低、严重遮挡等现实问题，提出了基于红外多波段图像自适应融合的目标识别方法，该方法与特征级和决策级融合相比，更容易实现，计算复杂度也低。相较于像素级融合，采用了无监督学习方式来融合不同来源的图像，而不是利用离散小波变换等手工设计的像素级融合，因此对于不同场景的鲁棒性更强。

附图说明

图1本发明基于红外多波段图像自适应融合的目标识别示意图；

图2识别网络框架；

图3严重遮挡情况下长波识别结果；

图4严重遮挡情况下短波识别结果；

图5严重遮挡情况下中波识别结果；

图6严重遮挡情况下本发明的多波段融合识别结果。