[发明专利]基于红外显著性特征融合的粒子滤波跟踪的方法

权利要求书

1.基于红外显著性特征融合的粒子滤波跟踪的方法，其特征在于如下步骤：

第一步：读取第0帧图像I₀，并对图像I₀进行粒子初始化，具体操作过程如下：

(a)采用一个宽为w₀和高为h₀的矩形框拟合图像I₀中的待跟踪目标，得到初始时刻的目标状态X₀＝[x₀,y₀,w₀,h₀]及以(x₀,y₀)为中心的待跟踪目标区域temp₀(宽为w₀，高为h₀)；

(b)以目标初始状态为中心，传播半径r的范围内随机产生N个独立同分布的样本，从而得到初始粒子集以及初始时刻的待跟踪目标区域集其中表示图像I₀中以初始粒子集X₀中第i个粒子位置坐标为中心的待跟踪目标区域(宽为高为)，设置初始粒子权重为其中i＝1,2,...,N表示粒子集中粒子的标号，N表示滤波的粒子数；

第二步：读取第k帧图像I_k，k＝1,2,3...表示图像帧数以及时刻；

第三步：采用式(1)计算得到k时刻的候选目标粒子集的第i个粒子和图像I_k中以候选目标粒子集的第i个粒子位置坐标为中心的候选目标区域(宽为高为)，进而得到k时刻的候选目标粒子集和候选目标区域集和分别表示k时刻、k-1时刻和k-2时刻候选目标粒子集中的第i个粒子，r是粒子的随机传播半径，一般设为U⁽ⁱ⁾是计算第i个粒子时属于[-1,1]的随机数；

第四步：通过计算得到k时刻特征融合后的候选目标粒子集中第i个粒子的观测方程进而得到k时刻特征融合后的观测方程集具体的操作过程如下：

(a)通过计算得到待跟踪目标区域的基于显著性特征的目标核函数直方图(即目标模板)，进而得到待跟踪目标区域集的基于显著性特征的目标核函数直方图集具体操作过程如下：

(1)通过计算得到待跟踪目标区域的基于块对比度加权的特征算子进而得到初始时刻基于块对比度加权的特征算子集具体操作过程如下：

1)设计滑动窗口对待跟踪目标区域进行遍历扫描，滑动窗口由3×3排列的9个局部块组成，滑动窗口第一行三个局部块从左到右依次编号为P₁、P₂、P₃，第二行三个局部块从左到右依次编号为P₄、P₀、P₅，第三行三个局部块从左到右依次编号为P₆、P₇、P₈，每个局部块由l×l个像素组成，l可取1～3之间的奇数；

2)采用滑动窗口对待跟踪目标区域从上到下、从左到右进行遍历扫描，分别通过式(2)、(3)计算块均值和其中表示待跟踪目标区域在坐标(x,y)位置的灰度值，l⁽ⁱ⁾表示局部块的边长，采用式(4)计算r＝1,2,…8与之间的对比度通过公式(5)计算得到与中心块最相似的相邻块和通过公式(6)计算得到(x,y)处的块对比度进而得到的对比度显著图记为C⁽ⁱ⁾，其中r表示局部块的标号；

3)利用式(7)计算得到(x,y)处的局部显著性因子进而得到的局部显著图记为W⁽ⁱ⁾；

其中的每个像素的强度因子通过式(8)来进行计算：

4)通过式(9)计算得到基于块对比度加权的特征算子也表示待跟踪目标区域的显著性特征图；

(2)通过式(10)、(11)计算得到待跟踪目标区域中以为中心像素位置的基于显著性特征的目标核函数直方图表示归一化常数，使表示待跟踪目标区域的大小，表示目标区域中的像素，pixel表示目标区域中像素标号，||·||表示范数计算符，表示像素的显著性值，u＝1,2,...,256表示直方图的横坐标，δ(·)表示delta函数；

将k(v)代入公式(11)，取得：

其中归一化常数和目标区域的像素数分别通过式(12)、(13)进行计算：

(b)采用步骤(a)计算方法计算候选目标区域中以为中心像素位置的基于显著性特征的核函数直方图(即候选目标模板)，进而得到候选目标区域集的基于显著性特征的核函数直方图集

(c)通过式(14)计算k时刻候选目标粒子集中第i个粒子的基于对比度显著性特征的观测方程进而得到k时刻基于对比度显著性特征的观测方程集其中σ₁表示基于对比度显著性特征的观测标准差，表示k时刻的候选目标粒子集中的第i个粒子，Z_k表示k时刻的观测状态；

其中k时刻的候选目标粒子集中第i个粒子与k-1时刻的目标粒子集中第i个粒子的基于对比度显著性特征的相似度距离通过式(15)进行计算，进而得到k时刻的候选目标区域与k-1时刻的目标区域的基于对比度显著性特征的相似度距离集其中表示候选目标区域中以为中心像素位置的基于显著性特征的核函数直方图，表示以k-1时刻目标粒子集中第i个粒子的位置坐标为中心的目标区域中以为中心像素位置的基于显著性特征的核函数直方图：

(d)通过计算得到待跟踪目标区域的SURF特征点进而得到初始粒子集的特征点集其中表示的特征点的位置坐标，具体操作过程如下：

(1)通过式(16)计算得到待跟踪目标区域的积分图像其中表示待跟踪目标区域在坐标(x,y)处的像素值；

(2)通过式(17)构建图像中像素点X(x,y)处σ尺度的Hessian矩阵，其中σ表示尺度空间因子以及高斯函数g(σ)的标准差，temp表示图像像素矩阵；

其中的L_xx通过式(18)进行计算，其他L_xy、L_yy的计算方式类似，其中*表示卷积：

(3)通过式(20)计算得到判别点X(x,y)是否为极值点的Hessian矩阵行列式det(H)；

det(H)＝L_xxL_yy-(L_xy)² (20)

(4)通过式(21)计算得到在某一尺度下的近似Hessian矩阵行列式的行列式其中表示的Hessian矩阵的近似矩阵，表示盒子滤波器与积分图像卷积的结果，0.9表示加权系数，用于修正盒子滤波器的近似误差；

(5)利用不同尺寸的盒子滤波器与积分图像卷积产生的Hessian矩阵行列式的响应图像构建尺度金字塔，尺度金字塔有若干组，每组有若干层，最底层为第一组(即octave＝1)，盒子滤波器尺寸由式(22)来确定，其中FilterSize表示盒子滤波器的尺寸大小，octave表示图像所在组的标号(octave可取3、4)，interval表示图像所在层的标号(interval可取4～6)；

FilterSize＝3(2^octave×interval+1) (22)

(6)采用3×3×3非极大值抑制，得到初步的特征点位置和尺度，即将经过Hessian矩阵处理过的每个像素点与其3维领域的26个点进行大小比较，如果该点是这26个点中的最大值或者最小值，则保留下来，当做初步的特征点；

(7)采用3维线性插值法得到亚像素级的特征点，同时也去掉那些值小于一定阈值的点，增加极值使检测到的特征点数量减少，从而精确定位到特征点；

(8)采用统计的Harr小波特征构造SURF特征描述子，得到待跟踪目标区域的SURF特征点

(e)通过式(23)计算k时刻候选目标粒子集中第i个粒子的基于SURF特征点的观测方程进而得到k时刻基于SURF特征点的观测方程集其中σ₂表示基于SURF特征点的观测标准差；

其中k时刻的候选目标粒子集中第i个粒子与k-1时刻的目标粒子集中第i个粒子的基于SURF特征点的相似度距离通过式(24)进行计算，进而得到k时刻的候选目标区域与k-1时刻的目标区域的基于SURF特征点的相似度距离其中表示k-1时刻的目标粒子集中第i个粒子的特征点，表示采用第四步中(d)步骤计算方法计算得到的k时刻的候选目标粒子集中第i个粒子的特征点，和分别表示k-1时刻的目标粒子集中第i个粒子的特征点和k时刻的候选目标粒子集中第i个粒子的特征点的位置坐标：

(f)利用式(25)计算得到k时刻特征融合后的候选目标粒子集中第i个粒子的观测方程和分别表示k时刻候选目标粒子集中第i个粒子的基于SURF特征点和基于对比度显著性特征的观测方程；

第五步：采用式(26)计算出k时刻候选目标粒子集中第i个粒子的权重进而得到粒子权重集其中表示k时刻特征融合后的候选目标粒子集中第i个粒子的观测方程，表示k-1时刻目标粒子集中第i个粒子的权重；

第六步：采用式(27)计算得到k时刻的有效粒子数表示k时刻的归一化权值集，当小于时进行重采样，N表示滤波的粒子数，重采样后将粒子权值均置为

第七步：采用式(28)估计k时刻的目标状态进而得到估计目标区域其中表示k时刻候选目标粒子集中第i个粒子的权重，表示k时刻候选目标粒子集中第i个粒子；

第八步：采用第四步中(a)步骤和第四步中(d)步骤同样计算方法分别计算得到估计目标区域的基于显著性特征的核函数直方图g_u,k(即估计目标模板)和估计目标区域集的SURF特征点其中表示k时刻估计目标区域特征点的位置坐标；

第九步：采用式(29)更新得到k时刻的目标粒子集中第i个粒子的目标模板进而得到新目标模板集其中表示k-1时刻的目标粒子集中第i个粒子的目标模板，表示k时刻估计目标模板g_u,k与之间的基于对比度显著性特征的相似度距离，表示k时刻估计目标区域的特征点与k-1时刻的目标粒子集中第i个粒子的特征点之间基于SURF特征点的相似度距离，λ表示调整系数，取值范围为[0,1]，T_n表示距离阈值，根据经验，T_n＝0.15；

第十步：令k＝k+1，并判断是否已经处理到最后一帧图像，如果是结束循环，否则转到第二步。