[发明专利]一种基于相关滤波器的目标跟踪优化方法

权利要求书

1.一种基于相关滤波器的目标跟踪优化方法，其特征在于，包括以下步骤：

步骤1，获取一个视频，所述视频包括T帧图片，每帧图片中分别包含一个目标，其中第1帧图片上目标位置已知，剩余T-1帧图片上各自目标位置未知；然后计算T帧图片目标搜索域区域；其中，T为大于或等于2的正整数；

步骤2，对第t'帧图片目标搜索域区域分别进行HOG特征和颜色特征的提取，分别得到第t'帧图片目标搜索域区域的HOG特征向量和第t'帧图片目标搜索域区域的颜色特征矩阵；1≤t′≤T，t'的初始值为1；

步骤3，令t'的值分别取1至T，重复步骤2，进而分别得到第1帧图片目标搜索域区域的HOG特征向量f_HOG,1至第T帧图片目标搜索域区域的HOG特征向量f_HOG,T，以及第1帧图片目标搜索域区域的颜色特征矩阵至第T帧图片目标搜索域区域的颜色特征矩阵；

初始化：令t∈{2,3,…,T}，令表示第t帧图片目标搜索域区域，t的初始值为2；

步骤4，确定相关滤波器，并将第t帧图片目标搜索域区域的HOG特征向量和第t帧图片目标搜索域区域的颜色特征矩阵分别作为相关滤波器的输入，分别计算第t帧图片的HOG特征响应矩阵和第t帧图片的颜色特征响应矩阵与即为相关滤波器的输出，进而分别得到第t帧图片的HOG特征响应矩阵中的最大值，以及第t帧图片的颜色特征响应矩阵中的最大值；

步骤5，比较第t帧图片的HOG特征响应矩阵中的最大值，以及第t帧图片的颜色特征响应矩阵中的最大值，并选取大的最大值位置，作为第t帧图片的目标中心点

步骤6，令t的值加1，返回步骤4，直到得到第T帧图片的目标中心点后结束跟踪，至此得到了第2帧图片的目标中心点至第T帧图片的目标中心点以及根据第1帧图片上目标位置得到第1帧图片的目标中心点实现了T帧图片中每个目标的实时跟踪；

其中，在步骤1中，所述T帧图片目标搜索域区域，其过程为：

1.1 计算得到第1帧图片上目标的熵E(q₁)与第2帧图片上第k-1次更新后目标搜索域区域的熵E(s_k-1)之间的比R(k-1)，其表达式为：

R(k-1)＝E(q₁)/E(s_k-1)

其中，K为设定的搜索域更新次数最大值；k的初始值为1，s_k-1表示第2帧图片上第k-1次更新后目标搜索域区域，p_k-1,2,l表示第2帧图片内灰度值l在s_k-1中出现的概率，log₂表示底数为2的对数，b₂表示第2帧图片中的灰度值最大值；p_1i表示第1帧图片内灰度值i在q₁中出现的概率，b₁表示第1帧图片中的灰度值最大值，q₁表示第1帧图片上目标大小；

1.2 令k的值加1，且令s_k-1＝s_k-2-Q，返回1.1，直到得到第1帧图片上目标的熵E(q₁)与第2帧图片上第K-1次更新后搜索域的熵E(s_K-1)之间的比R(K-1)或者s_k-1＝1.2q₁时停止更新，将停止更新时对应的第1帧图片上目标的熵与第2帧图片上第k-1次更新后搜索域的熵之间的比，记为第1帧图片上目标的熵E(q₁)与第2帧图片上第k'次更新后搜索域的熵E(s_k')之间的比R(k')，1≤k'≤K，k'表示停止更新时对应的更新次数；其中，Q为设定常数，0＜Q＜1；

1.3 根据第1帧图片上目标的熵E(q₁)与第2帧图片上第k'次更新后目标搜索域区域的熵E(s_k')之间的比R(k')，并通过如下公式得到第2帧图片上的最优目标搜索域区域，记为第2帧图片目标搜索域区域

其中，表示取最小时对应的j值，R(j-1)表示第1帧图片上目标的熵E(q₁)与第2帧图片上第j-1次更新后目标搜索域区域的熵E(s_j-1)之间的比，表示第2帧图片目标搜索域区域的最优更新次数，Q为设定常数，0＜Q＜1；令第1帧图片目标搜索域区域O表示设定整数，O>1；

1.4 令表示第t帧图片目标搜索域区域，q_t-1表示第t-1帧图片上目标大小，t∈{2,3,…,T}；

1.5 令t的值从2取至T，重复执行1.4，直到得到第T帧图片目标搜索域区域将第2帧图片目标搜索域区域至第T帧图片目标搜索域区域以及第1帧图片目标搜索域区域记为T帧图片目标搜索域区域，然后将t的值初始化为2；

在步骤2中，所述第t'帧图片目标搜索域区域的HOG特征向量和第t'帧图片目标搜索域区域的颜色特征矩阵，其得到过程为：

2.1 对第t'帧图片目标搜索域区域进行灰度化，得到灰度化后第t'帧图片目标搜索域区域；然后采用Gamma校正法对灰度化后第t'帧图片目标搜索域区域进行颜色空间的标准化，进而得到Gamma校正法后第t'帧图片目标搜索域区域，所述Gamma校正法后第t'帧图片目标搜索域区域中包括A×B个像素，A表示Gamma校正法后第t'帧图片目标搜索域区域的高，B表示Gamma校正法后第t'帧图片目标搜索域区域的宽；再计算Gamma校正法后第t'帧图片目标搜索域区域中A×B个像素的梯度，得到A×B个像素的梯度值；A、B分别为大于0的正整数；

2.2 将Gamma校正法后第t'帧图片目标搜索域区域中每C×C个像素分别作为一个cell，进而得到E个cell，表示向下取整；确定每个cell包含H个梯度方向，将每个cell的H个梯度方向分别记为对应cell的梯度直方图，进而得到E个cell的梯度直方图，每个cell的梯度直方图都为H×1维，将E个cell的梯度直方图作为E个cell的特征描述符；C、H分别为大于0的正整数；

2.3 将E个cell中每D×D个cell分别组成一个block，进而得到F个block，表示向下取整；将每个block内D×D个cell的特征描述符分别依次串接起来，进而得到F个block的HOG特征描述符，所述F个block的HOG特征描述符都为H×D维；D、F分别为大于0的正整数

将F个block的HOG特征描述符依次串接起来，得到第t'帧图片的HOG特征描述符，所述第t'帧图片的HOG特征描述符为H×D×F维；将第t'帧图片的HOG特征描述符按照block个数维依次串接，形成H×D维矩阵，所述H×D维矩阵为第t'帧图片目标搜索域区域的HOG特征向量f_HOG,t'；

2.4 对第t'帧图片目标搜索域区域进行RGB颜色特征提取，进而得到3个颜色特征向量，每个向量长度为I；其中3个颜色依次为红色red、绿色green、蓝色blue，I为大于0的正整数；

使用颜色映射方法对3个颜色特征向量进行颜色映射，进而得到11个颜色特征向量，每个颜色向量长度分别为I；其中11个颜色依次为黑色black、蓝色blue、棕色brown、绿色green、灰色grey、橙色orange、粉色pink、紫色purple、红色red、白色white、黄色yellow，得到11个颜色特征向量；

对11个颜色特征向量分别做快速傅里叶变换，再分别进行核映射，进而得到新的11个颜色特征向量，每个新的颜色特征向量长度都为I；

然后通过PCA降维方法对所述新的11个颜色特征向量进行降维处理，得到降维处理后的2个颜色特征向量，将降维处理后的2个颜色特征向量依次串接，得到一个I×2维矩阵，所述I×2维矩阵即为第t'帧图片目标搜索域区域的颜色特征矩阵f_color,t'；

在步骤4中，所述第t帧图片的HOG特征响应矩阵中的最大值，以及第t帧图片的颜色特征响应矩阵中的最大值，其得到过程为：

4.1 令y_t-1表示第t-1帧图片上目标大小q_t-1的二维高斯分布矩阵，大小为M_t-1×N_t-1；第1帧图片上目标大小q₁的二维高斯分布矩阵大小至第T-1帧图片上目标大小q_T-1的二维高斯分布矩阵大小取值分别相等；令y_t-1(m,n)表示二维高斯分布矩阵y_t-1上坐标(m,n)处的值，0≤m≤M_t-1，0≤n≤N_t-1，则y_t-1(m,n)的计算公式为：

y_t-1(m,n)＝exp(-((m-M_t-1/2)²+(n-N_t-1/2)²)/σ_t-1²)，

其中，w_t-1表示第t-1帧图片上目标大小q_t-1的宽，h_t-1表示第t-1帧图片上目标大小q_t-1的高，exp表示指数函数；

计算得到第t帧图片目标搜索域区域的最优HOG拟合代价系数

其中，将满足时对应的值，记为第t帧图片目标搜索域区域的HOG拟合代价系数ω_HOG,t；ε为小于1的常数，φ(x_m,n)表示的核函数，表示第t帧图片目标搜索域区域的HOG特征向量f_HOG,t中坐标(m₁,n₁)处的值，0≤m₁≤H，0≤n₁≤D；M_t-1表示二维高斯分布矩阵y_t-1的行数，N_t-1表示二维高斯分布矩阵y_t-1的列数，λ表示惩罚项系数；

计算得到第t帧图片目标搜索域区域的最优颜色拟合代价系数

其中，将满足时对应的值，记为第t帧图片搜索域目标区域的颜色拟合代价系数ω_color,t；表示的核函数，表示第t帧图片目标搜索域区域的颜色特征矩阵f_color,t中坐标(m₂,n₂)处的值，0≤m₂≤I，0≤n₂≤2；λ表示惩罚项系数；

4.2 分别设定第t帧图片目标搜索域区域的HOG系数矩阵为a_HOG,t，设定第t帧图片目标搜索域区域的颜色系数矩阵为a_color,t，a_HOG,t和a_color,t分别为R_t×Q_t维，R_t与H取值相等，Q_t与D取值相等；

对第t帧图片目标搜索域区域的HOG系数矩阵a_HOG,t进行快速傅里叶变换：

其中，F(y_t-1)表示对第t-1帧图片上目标大小q_t-1的二维高斯分布矩阵y_t-1做快速傅里叶变换，φ(f_HOG,t-1)表示第t-1帧图片目标搜索域区域的HOG特征向量f_HOG,t-1的核函数，F(φ(f_HOG,t-1)×φ(f_HOG,t-1))表示对两个相乘后的核函数做快速傅里叶变换，F(a_HOG,t)表示对第t帧图片目标搜索域区域的HOG系数矩阵a_HOG,t做快速傅里叶变换；

将F(a_HOG,t)做逆快速傅里叶变换，得到第t帧图片目标搜索域区域的HOG系数矩阵a_HOG,t；

4.3 对第t帧图片目标搜索域区域的颜色系数矩阵a_color,t进行快速傅里叶变换：

其中，F(y_t-1)表示对第t-1帧图片上目标大小q_t-1的二维高斯分布矩阵y_t-1做快速傅里叶变换，φ(f_color，t-1)表示第t-1帧图片目标搜索域区域的颜色特征向量f_color,t-1的核函数，F(φ(f_color,t-1)×φ(f_color,t-1))表示对φ(f_color,t-1)和φ(f_color,t-1)相乘后的核函数做快速傅里叶变换，F(a_color,t)表示对第t帧图片目标搜索域区域的颜色系数矩阵做快速傅里叶变换；

将F(a_color,t)做逆快速傅里叶变换，得到第t帧图片目标搜索域区域的颜色系数矩阵a_color,t；

4.4 分别计算第t帧图片的HOG特征响应矩阵和第t帧图片的颜色特征响应矩阵

其中，表示第t帧图片的目标模板，q_g表示第g帧图片上的目标大小；表示第t帧图片目标搜索域区域的核函数，表示第t帧目标模板的核函数，表示对和相乘后的结果进行快速傅里叶变换，⊙表示点乘，上标-1表示求逆；

4.5 分别找到第t帧图片的HOG特征响应矩阵和第t帧图片的颜色特征响应矩阵中的最大值，进而分别得到第t帧图片的HOG特征响应矩阵中的最大值Y_HOG,t，以及第t帧图片的颜色特征响应矩阵中的最大值Y_color,t。