[发明专利]基于TLD改进算法的视频车辆目标跟踪算法

权利要求书

1.基于TLD改进算法的视频车辆目标跟踪算法，其特征在于，包括以下步骤：

第一步，输入视频，标定跟踪目标；

第二步，初始化LK光流跟踪器和随机蕨分类器，对目标进行扫描和跟踪；

TLD中的跟踪器使用的是一种基于前向后向轨迹的LK光流法；当前帧为It下一帧为It+1，前向后向轨迹光流法则在由It预测出It+1之后，利用It+1中预测得到的点，再做反向预测，即由It+1预测到It，通过这种前向后向轨迹预测得到一个位移偏差；如果反向预测得到的It中的特征点与原来已知的It中的特征点位移偏差大于阈值16，则将It+1中预测出的偏差较大的特征点排除；在舍去了当前帧中位移偏差较大的特征点之后，便获得了当前帧和下一帧中完全对应的点；分别对前后两帧中相互对应的点周围的图像区域做模板匹配，计算出图像区域之间的相似度，一旦相似度小于所有图像区域相似度的中值，则将这些相似度小的预测点进一步排除；分别计算剩余对应点之间x方向和y方向偏移量的中间值，作为新的预测框在x和y方向的尺度变化因子，再根据尺度变化因子求出下一帧预测框的位置和大小；以此类推，得到初步跟踪结果；

随机蕨分类器由许多个基础分类器组成；分类器的处理对象与跟踪器的处理对象相同,均为当前图像帧,且分类器与检测器的工作同时进行；每一个基础分类器i在图像块上按照初始时确定的像素点对采集像素点对灰度的差值，生成一个二进制的编码x；编码x指向决策树某个叶子节点的后验概率P_i(y\x)，其中y∈(0,1)；然后求得所有相互独立的决策树输出的后验概率的平均值；平均值大于50％的图像块通过该分类器，输出结果作为标记样本进入下一模块；

第三步，通过P-N学习更新分类器；

通过先验标记样本和未标记的样本来学习分类器；标记样本来源于分类器的输出结果；学习由两类结构约束组成，即正约束和负约束；约束对未被标记的样本进行标记分类，之后训练分类器；正约束是指将未知样本标记为正样本的约束条件，这里将靠近轨迹附近的样本标记为正样本；负约束是指将未知样本标记为负样本的约束条件，这里将远离轨迹的样本标记为负样本；

设x为特征空间X中的一个样本，y表示对应的标记空间Y＝{-1,1}中的一个标记，那么用集合{X,Y}来表示样本空间和对应的标记；P-N学习根据已标记的样本集合{Xl,Yl}来建立分类器，并且训练样本，使用没有标记过的数据Xu来引导分类器工作；

第四步，显示跟踪目标；

根据P-N学习机制更新随记蕨分类器，显示跟踪结果，再利用分类器判断出的目标框和跟踪器预测出的目标框,与实际目标进行比对，综合判断出最终的准确跟踪结果，以目标框的方式在视频中显示。

2.根据权利要求1所述的方法，其特征在于：利用Kalman滤波器或粒子滤波器对跟踪器模块进行改进；

S1:Kalman滤波改进方法

目标在k时刻的状态向量表示为:X_k＝[x_k，y_k，x′_k，y′_k]^T，其中，x_k、y_k分别表示在x、y方向上的坐标，x_k、y_k分别表示目标在x、y方向上的速度，k-1表示上一时刻；

选取目标的位置作为观察向量,观测向量表示为:z(k)＝[xc_k，yc_k]^T,其中,xc_k、yc_k分别表示通过观测所获得的目标中心在x、y方向上的位置坐标；

目标的中心所做的是变加速直线运动,加速度w_k-1随机变化,并且服从高斯分布即w_k-1～N(0，σ²_w)；

根据牛顿运动定律:

x_k＝x_k-1+x’_k-1t+0.5w_k-1t²

y_k＝y_k-1+y′_k-1t+0.5w_k-1t²

x′_k＝x′_k-1+w_k-1t

y′_k＝y′_k-1+w_k-1t

那么由此得到过程模型；根据X_k＝A_kX_k-1+C_ww_k-1,得:

由观测模型Z_k＝H_kX_k+C_vV_k得到：

利用t表示帧率，则状态转移矩阵、观测矩阵表示为：

设置初始时刻目标的状态：其中，x₀、y₀表示第一帧中目标在x方向和y方向的位置；0、0分别表示目标在x、y方向上目标的初始速度；

设置初始的观测量Z₀=[x₀，y₀]^T；

设置初始的状态协方差为Q_k,即模型噪声,状态测量误差协方差矩阵P_k状态转移矩阵A_k,初始的观测协方差R_k,即观测噪声,观测矩阵H_k；具体设置如下:

设置好初始参数后,利用以下步骤进行卡尔曼滤波的递归:

(1)预测出当前时刻的状态,包含速度和位置；

(2)计算先验估计误差协方差；

(3)利用观测值和状态预测值,获得当前时刻的最优值；

(4)计算kalman增益；

(5)更新误差协方差；

S2:粒子滤波改进方法

(1)粒子的状态选择

利用X_k＝(x，y，s)表示粒子的状态,其中(x,y)表示粒子在视频帧中的坐标位置,也即粒子所对应的矩形框中心位置,s表示矩形框的尺度变化因子；选取200个粒子,将200个粒子的位置初始化为初始目标框的中心位置,即X₀＝(x₀，y₀，s₀),将尺度初始化为1,并且计算初始目标框所对应的HSV颜色直方图；

(2)系统的状态转移

粒子从上一帧中的位置,运动到下一顿中的位置,需要用到状态转移,常用的状态转移方法有两种；随机转移和二阶自回归转移；

随机转移就是在上一帧中中心位置处随机分布粒子；；

二阶自回归转移模型利用前面时刻的粒子状态的随机组合来预测粒子在下一帧中的位置,常用的二阶自回归模型表示如下:

其中,X_k表示k时刻粒子的状态,表示所有粒子估计的均值,X_k-1表示k-1时刻粒子的状态,X_k-2表示k-2时刻粒子的状态,w表示随机噪声；A₁、A₂、B都是常量,B表示粒子的传播半径；根据二阶自回归模型得到,粒子在k时刻的状态预测:

这些参数已知，

A₁＝diag{a₁，a₂，a₃}，A₂＝diag{a₂，a₂，a₂},B＝diag{b，b，b},a₁＝2.0，a₂＝1.0，a₃＝1.0，b＝1.0，w_k∈(0，0.001)；

设所有粒子估计的均值为(x₀，y₀，1.0)，其中(x₀，y₀)表示上一帧中目标的中心位置,1.0表示平均尺度；则单个粒子的传播计算如下:

x_k＝a₁(x_k-1-x₀)+a₂(x_k-2-x₀)+bw_k+x₀

y_k＝a₁(y_k-1-x₀)+a₂(y_k-2-x₀)+bw_k+y₀

s_k＝a₁(s_k-1-x₀)+a₂(s_k-2-x₀)+bw_k+1.0

(3)观测模型建立

在预测出粒子在下一帧中的位置之后,需要对粒子进行观测,即判断每个粒子所代表的目标与真实目标状态之间的相似程度；；

设表示候选粒子x所对应的HSV区域颜色直方图,表示参考目标模型所对应的HSV区域颜色直方图,则两个颜色直方图之间的Bhattacharyya系数表示为:

其中，u表示向量的维数，表示m维的向量；；

定义颜色直方图的测量分布：

(4)重要性采样

更新粒子的权值，将权值最大的粒子所对应的目标框作为最终的目标框位置；

(5)重采样

根据每个粒子的权值,进行由大到小排序，计算其平均值；在总粒子数目一定的情况下,将权值大于平均值的粒子数目增多,将权重小于平均值的粒子所对应的数目减少,甚至舍弃权值小于平均值的粒子。