[发明专利]基于多源图像特征融合的在线目标跟踪方法

说明书

技术领域

本发明涉及一种在线目标跟踪方法，特别是涉及一种基于多源图像特征融合的在线目标跟踪方法。

背景技术

利用可见光传感器和红外传感器获取的图像分别呈现不同的物理特点，自动、有效地把可见光图像和红外图像进行融合并进行鲁棒的在线目标跟踪，具有非常重要的意义。现有的在线目标跟踪方法主要有：基于在线学习的模版匹配跟踪方法和基于在线学习的最优特征跟踪方法。

文献“Online selection of discriminative tracking features.PAMI，27(10)：1631-1643，Oct.2005.”公开了一种基于在线选取的最优特征目标跟踪方法。该方法采用直方图统计的方式获得最优的目标特征线性组合图像，之后采用mean-shift的方法对目标进行跟踪。在选取最优线性组合图像阶段，利用不用的参数设置对可见光图像中的R，G，B三个通道图像进行线性融合，然后在新生成的大量线性组合图像上对选取的目标与背景的直方图进行统计分析，获取最大对比度结果的线性融合图像，利用该线性融合图像的线性融合参数对下一帧图像进行同样方式融合处理。但是该方法主要是针对可见光图像三个通道的线性融合，在增加红外图像之后，该线性融合的参数设置不能直接适用。在mean-shift跟踪阶段，由于缺乏必要的模板更新，当目标本身发生姿态变化时，跟踪失败；在跟踪过程中由于窗口宽度大小保持不变，当目标尺度有所变化时，跟踪失败；当目标速度较快时，跟踪效果不好。综上所述，mean-shift跟踪方法的鲁棒性并不是很好。

发明内容

为了克服现有基于在线选取的最优特征目标跟踪方法鲁棒性差的不足，本发明提供一种基于多源图像特征融合的在线目标跟踪方法。该方法利用线性组合的方式将可见光图像与红外图像融合，使目标在当前图像上与背景的对比度达到最大，突出目标在图像上的特征信息；其次，通过对目标提取角点的方式获取目标的特征信息，并利用光流算法实现目标的跟踪。为了进一步提高跟踪的鲁棒性，加入了检测分类算法对目标与背景样本的信息进行分类，再此基础上，利用在线学习，协同处理光流跟踪结果和检测分类结果，获取最优的目标跟踪结果。

本发明解决其技术问题所采用的技术方案是：一种基于多源图像特征融合的在线目标跟踪方法，其特点是包括以下步骤：

步骤一、对可见光图像中的R，G，B三个通道的信息再结合红外图像中的热红外灰度信息进行线性组合，产生融合图像。线性组合的表达式如下，

F₁≡{w₁R+w₂G+w₃B+w₄I|w_*∈[-2，-1，0，1，2]}      (1)

式中，R，G，B分别对应可见光图像中的三个通道的图像信息，I对应红外图像的热红外灰度信息，w_*为相应的线性组合参数，取值范围为-2到2。剔除等效组合方式(w₁，w₂，w₃，w₄)=k(w₁′，w₂′，w₃′，w₄′)。

步骤二、在每一个线性组合后的图像上，分别计算目标区域与背景区域的直方图统计信息。令目标的像素特征直方图为H_obj(i)，背景样本的像素特征直方图为H_bg(i)，分别计算目标和背景的概率密度并进行归一化得到

p(i)=H_obj(i)/n_obj        (2)

q(i)=H_bg(i)/n_bg        (3)

式中，n_obj、n_bg分别代表目标样本和背景样本的数量，p(i)、q(i)分别代表目标样本和背景样本的离散概率密度。利用p(i)、q(i)得到似然函数