[发明专利]一种基于可见光和红外图像的多船舶融合跟踪方法

说明书

本发明提供一种基于可见光和红外图像的多船舶融合跟踪方法，包括：检测视频的每帧图像中的船舶对象；将所有待输入的红外和可见光图像对进行预处理；将预处理后的两帧图像对及图像中船舶目标的中心位置信息输入特征提取网络，提取船舶的特征向量，实现对船舶外观特征的建模；将获得的船舶的外观特征输入相似度估计模块中，求取前后两视频帧的关联矩阵；借助匈牙利算法关联船舶目标，更新目标跟踪轨迹，进而实现多船舶的稳定跟踪。本发明实现了基于红外和可见光图像的多船舶自适应融合跟踪。本发明解决了基于单源图像的多船舶跟踪易受海上特殊环境条件的约束而无法实现对多船舶的稳定跟踪的问题，从而满足了多船舶跟踪技术的全天候的应用需求。

技术领域

本发明涉及一种基于可见光和红外图像的多船舶融合跟踪方法，属于模式识别、计算机视觉技术领域。

背景技术

多船舶跟踪是海上监视系统和智能船舶的重要组成部分，对沿海国家的船舶航行安全和执法具有重要意义。在船舶安全航行方面，多船舶自动跟踪能有效地避免人为因素引起的监视误差，为分析和判断船舶航行行为提供依据，从而有效地避免水上航行事故的发生。在海上安全执法方面，利用多船舶跟踪能够及时发现并跟踪非法移民、海盗或贩运毒品、武器和非法物质等海上犯罪活动并采取必要的措施。

多船舶跟踪要求具备较好稳定性和鲁棒性以满足船舶全天候不间断航行的需求，而海天环境的特殊性问题，例如海雾，波浪，光照变化频繁，目标间相似度大和目标远小等，加大了海上多船舶跟踪的难度。由于可见光图像成像机制的局限性，基于可见光图像的多船舶跟踪存在对光照条件变化敏感等问题难以适应海上多海雾、光照变化频繁和目标远小的特殊环境。红外图像检测物体的热信息，红外辐射穿透海雾及大气的能力比可见光强，因此对海雾天气和光照条件等因素不敏感。而基于红外图像的多船舶跟踪具有因缺乏目标的纹理和色彩信息而造成对目标辨识度低的问题，难以适应船舶目标相似性大的特点。由于可见光和红外图像具有互补性，基于可见光和红外图像的融合跟踪算法可以提高在恶劣环境下的跟踪性能。多船舶融合跟踪能够利用可见光和红外图像的优势互补，在不降低目标辨识度的前提下提高多船舶跟踪的海上环境适应能力。针对船舶融合跟踪的研究主要集中在船舶单目标跟踪上，对多船舶跟踪的研究较少。目前，对于一般场景的多目标跟踪(MOFT)的研究较多，但这些MOFT方法是利用传统的背景减法等技术来检测和跟踪运动目标。近年来，深度学习以其强大的特征表示能力而闻名，与手工构造的特征相比，学习的深度特征更有效、更稳健，有利于跟踪问题。因此，利用深度学习等先进技术，在多船舶跟踪性能方面有很大的改进空间。

发明内容

本发明的目的是为了提供一种基于可见光和红外图像的多船舶融合跟踪方法。由于图像成像机制的局限性，基于可见光图像的多船舶跟踪存在对光照条件变化敏感等问题难以适应海上多海雾、光照变化频繁和目标远小的特殊环境；而基于红外图像的多船舶跟踪具有因缺乏目标的纹理和色彩信息而造成对目标辨识度低的问题，难以适应船舶目标相似性大的特点。本发明为了解决以上基于单源图像的船舶跟踪易受海上特殊环境条件的约束而无法实现对多船舶的稳定性跟踪的问题，提出了一种基于可见光和红外图像的多船舶融合跟踪的方法。

本发明的目的是这样实现的：步骤如下：

S1：检测视频的每帧图像中的船舶对象，具体为：将一帧图像作为检测阶段的输入，并为该帧图像中的船舶对象输出一组边界框，根据输出的边界框，计算出该帧图像中目标的中心位置；

S2：将所有待输入的红外和可见光图像对进行预处理；

S3：将预处理后的两帧图像对及图像中船舶目标的中心位置信息输入特征提取网络，提取船舶的特征向量，实现对船舶外观特征的建模；

S4：将获得的船舶的外观特征输入相似度估计模块中，求取前后两视频帧的关联矩阵，即当前帧中的船舶与先前帧中的船舶之间的相似度矩阵；

S5：借助匈牙利算法关联船舶目标，增添新目标，更新目标跟踪轨迹，实现多船舶的稳定跟踪。