[发明专利]一种基于相关滤波与目标检测的鲁棒性长期跟踪方法

权利要求书

1.一种基于相关滤波与目标检测的鲁棒性长期跟踪方法，其特征在于，该方法利用了深度特征向量来获得跟踪结果可信度，并使用一个预设的置信度阈值来决定是否激活检测器；当YOLO被激活时，它将选择当前帧中的所有目标；利用一个多级筛选机制来获得所有候选结果中最可靠的那个结果；当获得新的目标时，置信度模板将被更新；具体步骤如下：

步骤一、获得当前帧的图像，从图像中提取HOG特征和CNN特征；

步骤二、将步骤一得到的HOG特征和CNN特征输入基于RLS最小二乘分类器的相关滤波器中，对相关滤波器进行训练；具体步骤如下：

(一)构建RLS分类器

相关滤波目标跟踪算法采用正则化最小二乘分类器来预测目标的位置；

对于所有训练样本X和期望输出Y，RLS分类器的权值W由公式(1)得到，对应的标签数据用高斯函数表述为公式(2)：

其中，f是分类函数，λ是为了避免过拟合的正则化系数，x_i和y_i分别代表训练样本和期望输出；i表示每个样本的序号；ω是防止过拟合的正则化项；y(m，n)表示物体在模板中的位置；(m，n)表示横纵坐标；M×N表示定义模板的大小；σ为高斯核的带宽；在实际应用中，将特征空间映射到高维空间可以获得更好的分类性能；当分类函数是时，分类器的权值向量表示为：

那么优化目标表示为：

a＝{a₁，a₂，...}^T (4)

使用核化函数，得到：

a＝(K+λI)^-1P (5)

其中，I是一个单位矩阵，表示第i个特征的非线性映射函数；P表示向量x的类向量；K是核化矩阵，表示为：

使用密集采样算法，将公式(6)转换为傅里叶频域：

其中，表示训练样本预测位置的分类器参数；表示期望的标签数据；表示物体预测输出响应；是核的结果；

选择高斯核作为核函数；计算公式为：

其中，F代表傅里叶变换，k^xx′表示物体预测位置和实际位置的输出响应；x表示物体的预测位置；x′表示标签数据中图像的实际位置；⊙表示计算两个信号之间的相关性；

(二)收集搜索区域内的所有位置作为测试样本，并计算所有测试样本的响应输出，将运动目标的新位置定义为具有最大响应输出的位置；具体如下：

(2.1)对于给定的测试样本z，分类器的响应输出f(z)计算为

在计算所有测试样本的响应输出时，添加密集采样算法，即在傅里叶域中对每个测试样本进行核运算，计算出所有测试样本的分类器响应输出向量为：

其中，表示计算两个信号的相关性；

(2.2)选择响应向量f(Z)的所有测试样本中响应值最大的位置作为目标的下一个预测位置；

(2.3)采用线性插值法实时更新目标的外观模型参数与分类器参数

其中，n是当前帧的序号，γ是学习率，表示预测位置的外观模型参数，表示由式(7)得到的训练样本预测位置的分类器参数；

步骤三、利用深度特征向量来获得跟踪结果可信度，并使用一个预设的置信度阈值来决定是否激活YOLO v2检测器；

(3.1)置信度的确定

将置信问题转化为图像匹配问题；图像匹配程度越高，表示可信度越高；利用灰度相关匹配和基于特征的匹配相结合的图像匹配算法，并引入SURF特征点匹配方法，达到图像匹配的目的：SURF与Sift特征点匹配相似，通过计算两个特征点之间的欧氏距离来确定匹配程度；欧氏距离越短表示两个特征点的匹配度越高；与Sift特征点匹配方法的不同之处在于SURF增加了对黑森矩阵轨迹的判断；当两个特征点的矩阵轨迹相同时，则表示这两个特征具有相同的方向对比度变化；当矩阵不同时，则表示两个特征点的对比度方向相反；通过SURF特征点匹配格式，学习跟踪结果的置信度；更多的匹配点表示更高的置信水平；

采用更新的方法来确定比较模板：首先，将第一帧设置为当前模板；一旦检测器被激活，算法会将检测器给出的结果与跟踪器给出的结果进行比较，并选择可信度高的结果来更新模板；

(3.2)检测器是否将被激活的判断

首先，根据实验结果确定了置信水平的上下限范围；当置信水平高于上限时，说明算法仍然在跟踪正确的目标，不需要激活检测器；否则，当置信水平低于设置的下限时，检测器将被激活；然而，置信水平在上下限之间，有两种可能的结果：

(A)目标发生漂移，但它不是完全丢失；

(B)跟踪目标是被其他对象遮掩；

对于结果(A)，通过激活检测器来确定要跟踪的目标，并设计三级级联选择机制来选择最可靠的目标：首先，考虑物体运动的连续相关性，即当前帧与下一帧的目标不存在过大的距离偏移，筛去距离前帧目标过远的检测物体；其次，考虑被跟踪物体的结构合理性，每两帧之间的尺度变化不会过大，进一步筛去部分尺度变化大的检测物体；最后，对剩余检测目标的特征图提取出来，使用SURF函数与第一帧的模板特征图进行对比，选取相似度最高的物体作为检测器的输出；此结果再与跟踪器的输出结果进行对比，决定是否采用；

对于结果(B)，当物体主体被遮掩时，算法的跟踪目标中必然包含大量的背景信息，此时，跟踪器与检测器给出的输出，置信度都会很低，设定跟踪器与检测器给出的输出结果的置信度都低于上限时，则目标被遮挡；此时，跟踪器继续工作，但检测器不会被调用，直到物体遮挡结束，置信度回升，再调用检测器进行更新；

(3.3)尺度问题

对于跟踪算法中的尺度问题；当物体的尺度发生改变时，由于背景信息的掺杂使得跟踪的置信度降低，从而调用检测器来更新模板；通过检测器的检测，使得目标的尺度调整到合适的大小。