[发明专利]基于多源图像特征融合的在线目标跟踪方法

摘要

本发明公开了一种基于多源图像特征融合的在线目标跟踪方法，用于解决基于在线选取的最优特征目标跟踪方法鲁棒性差的技术问题。技术方案是首先利用线性组合的方式将可见光图像与红外图像融合，使目标在当前图像上与背景的对比度达到最大，突出目标在图像上的特征信息；其次，通过对目标提取角点的方式获取目标的特征信息，并利用光流算法实现目标的跟踪。为了进一步提高跟踪的鲁棒性，加入了检测分类算法对目标与背景样本的信息进行分类，再此基础上，利用在线学习，协同处理光流跟踪结果和检测分类结果，获取最优的目标跟踪结果，跟踪结果准确率达到85％以上。

主权项

1.一种基于多源图像特征融合的在线目标跟踪方法，其特征在于包括以下步骤：步骤一、对可见光图像中的R，G，B三个通道的信息再结合红外图像中的热红外灰度信息进行线性组合，产生融合图像；线性组合的表达式如下，F₁≡{w₁R+w₂G+w₃B+w₄I|w_*∈[-2，-1，0，1，2]}      (1)式中，R，G，B分别对应可见光图像中的三个通道的图像信息，I对应红外图像的热红外灰度信息，w*为相应的线性组合参数，取值范围为-2到2；剔除等效组合方式(w₁，w₂，w₃，w₄)=k(w₁′，w₂′，w₃′，w₄′)；步骤二、在每一个线性组合后的图像上，分别计算目标区域与背景区域的直方图统计信息；令目标的像素特征直方图为H_obj(i)，背景样本的像素特征直方图为H_bg(i)，分别计算目标和背景的概率密度并进行归一化得到p(i)=H_obj(i)/n_obj      (2)q(i)=H_bg(i)/n_bg      (3)式中，n_obj、n_bg分别代表目标样本和背景样本的数量，p(i)、q(i)分别代表目标样本和背景样本的离散概率密度；利用p(i)、q(i)得到似然函数L(i)=logmax{p(i),δ}max{q(i),δ}---(4)]]>式中，δ=0.001，放置log出现为0的情况；通过计算L(i)的方差判断目标样本特征和背景样本特征的差异度，利用方差计算公式var(x)=Ex²-(Ex)²得到var(L;p,q)=Σia(i)L2(i)-[Σia(i)L(i)]2---(5)]]>式中，a(i)是概率密度函数；从而得到似然函数的方差比公式VR(L;p,q)≡var(L;(p+q)/2)var(L;p)+var(L;q)---(6)]]>获得所有样本的数据，根据样本的数据进行排序，得到最大的目标特征与背景特征的对比度，获取最优的特征融合线性组合方式；步骤三、首先通过基于角点检测和非极大值抑制的方法对已经获取的融合图像上的目标物进行特征提取；然后利用RANSAC方法去除外点；最后用光流法计算保留下来的稳定特征点的特征光流，估计目标在下一帧出现的位置；采用光流描述相对于观察者的运动所造成的观测目标、表面或者边缘的运动；通过图像检测出运动的瞬时速度或者离散图像位移；每一个时刻均有一个二维或多维的向量集合(x，y,t)，(x，y,t)表示指定坐标在t点的瞬时速度；设I(x，y,t)为t时刻(x，y)点的强度，在很短的时间Δt内，x、y分别增加Δx、Δy，得：I(x+Δx,y+Δy,t+Δt)=I(x,y,t)+∂I∂xΔx+∂I∂yΔy+∂I∂tΔt---(7)]]>同时，考虑到两帧相邻图像的位移足够短，因此I(x，y，t)=I(x+Δx，y+Δy，t+Δt)    (8)从而得到∂I∂xΔx+∂I∂yΔy+∂I∂tΔt=0---(9)]]>∂I∂xΔxΔt+∂I∂yΔyΔt+∂I∂tΔtΔt=0---(10)]]>最终得出结论：∂I∂xVx+∂I∂yVy+∂I∂t=0---(11)]]>式中，V_x和V_y是x和y的速率，称为I(x，y,t)的光流，是图像(x，y,t)在t时刻特定方向的偏导数；I_x、I_y、I_t的关系如下：I_xV_x+I_yV_y=-I_t      (12)式中，I_x、I_y分别为特征点对应的x方向或者是y方向的梯度值，I_t是前后两帧图像在对应像素点位置的灰度差值；得出目标上选定的特征点的光流，在前一帧目标位置的基础上估计出下一帧目标出现的位置；步骤四、首先，产生目标可能出现的所有位置，输入到第一层概率分类器进行投票，结果传递给Nearest Neighbor分类器；其次，Nearest Neighbor分类器对其进行决策，将可信度高的位置和其固有相似度输出；再次，以Nearest Neighbor分类器的输出作为距离约束分类器的输入，过滤掉距离已确认的跟踪结果的可能位置；最后输出的即检测部分的最终结果；如果检测部分的最终结果个数过多或过少，反馈到Nearest Neighbor分类器和距离约束分类器阶段调整阈值进行重新决策；步骤五、根据每一帧图像中的跟踪结果和检测结果，首先判断跟踪结果和检测结果是否都存在，然后采用跟踪与检测协同机制对最终结果进行调整；最后通过反馈机制将最终结果用来调整跟踪轨迹，并更新检测过程中的各个分类器。