[发明专利]一种基于跟踪学习检测的目标跟踪优化方法

权利要求书

1.一种基于跟踪学习检测的目标跟踪优化方法，其特征在于，包括以下步骤：

步骤1，获取L帧用于跟踪的彩色图像视频帧序列，对所述L帧用于跟踪的彩色图像视频帧序列分别进行灰度转换，进而得到L帧灰度图像视频帧序列，每帧灰度图像视频帧序列都为N行M列，且每帧灰度图像视频帧序列中分别包含一个跟踪目标；第1帧灰度图像视频帧序列中的跟踪目标位置已知，其余L-1帧灰度图像视频帧序列中的跟踪目标位置未知；其中，L、N、M分别为大于0的正整数；

初始化：令t表示第t帧灰度图像视频帧序列，t∈{1,2,…,L}，t的初始值为1；确定第1帧目标限定框和第1帧灰度图像视频帧序列的正负样本库L₁；

步骤2，在第t帧目标限定框中选取个均匀跟踪点，并根据第t帧灰度图像视频帧序列的正负样本库L_t，在第t+1帧灰度图像视频帧序列中得到第t+1帧灰度图像视频帧序列的跟踪阶段限定框tb_t+1；

所述在第t帧目标限定框中选取个均匀跟踪点，具体是指使用大小为K×K的均匀网格在第t帧目标限定框中选取个均匀跟踪点，其过程为：

将第t帧目标限定框中第1行第1列像素点作为第1个均匀跟踪点，并以第1个均匀跟踪点为起点、水平方向相邻均匀跟踪点之间间隔为竖直方向的相邻均匀跟踪点之间间隔为在第t帧目标限定框中选取个像素点，记为第t帧目标限定框中使用均匀选取跟踪点的方式得到的个均匀跟踪点；其中，表示向下取整,表示第t帧目标限定框的宽度，和分别为大于0的正整数，表示第t帧目标限定框的高度；

所述在第t+1帧灰度图像视频帧序列中得到第t+1帧灰度图像视频帧序列的跟踪阶段限定框tb_t+1，其过程为：

2.1对第t帧目标限定框中的个均匀跟踪点使用光流法进行跟踪，在t+1帧灰度图像视频帧序列中得到个预测跟踪点，其中第j个预测跟踪点为u_t+1,j，与取值相等且一一对应；第t+1帧灰度图像视频帧序列中的第j个预测跟踪点u_t+1,j的相应状态标签为l_t+1,j，l_t+1,j∈{0,1}，l_t+1,j＝0表示第t+1帧灰度图像视频帧序列中的第j个均匀跟踪点u_t+1,j未被光流法成功跟踪，l_t+1,j＝1表示第t+1帧灰度图像视频帧序列中的第j个均匀跟踪点u_t+1,j被光流法成功跟踪；再对第t+1帧灰度图像视频帧序列中的个预测跟踪点使用光流法进行逆跟踪，在第t帧灰度图像视频帧序列中得到个逆跟踪点，其中第j个逆跟踪点为u′_t,j,与取值相等且一一对应，上标LK表示经过1次光流法跟踪，上标2LK表示经过2次光流法跟踪；

2.2第t帧目标限定框中的个均匀跟踪点经过光流法跟踪后得到个预测跟踪点，使用前向后向误差法对第t+1帧灰度图像视频帧序列中状态标签为1的预测跟踪点进行验证，得到经过前向后向误差法验证后状态标签仍为1的个预测跟踪点，上标1表示经过前向后向误差法1次验证；

2.3使用归一化互相关预测法对经过前向后向误差法验证后状态标签仍为1的个预测跟踪点进行验证，得到经过归一化互相关预测法验证后状态标签仍为1的个预测跟踪点，上标2表示经过前向后向误差法和归一化互相关预测法2次验证；

2.4对经过归一化互相关预测法验证后状态标签仍为1的个预测跟踪点使用目标跟踪算法得到归一化互相关预测后第t+1帧跟踪阶段限定框归一化互相关预测后第t+1帧跟踪阶段限定框包含的图像块记为上标N表示经过归一化互相关预测；

2.5使用马尔科夫预测法对经过归一化互相关预测法验证后状态标签仍为1的个预测跟踪点进行验证，得到经过马尔科夫预测法验证后状态标签仍为1的个预测跟踪点，上标3表示经过前向后向误差法、归一化互相关预测法和马尔科夫预测法3次验证；

2.6对经过马尔科夫预测法验证后状态标签仍为1的个预测跟踪点使用目标跟踪算法得到马尔科夫预测后第t+1帧跟踪阶段限定框马尔科夫预测后第t+1帧跟踪阶段限定框包含的图像块记为上标M表示经过马尔科夫预测；

2.7根据归一化互相关匹配算法分别得到归一化互相关预测后第t+1帧跟踪阶段限定框包含的图像块与第t帧灰度图像视频帧序列的正负样本库L_t中样本的相关相似度以及马尔科夫预测后第t+1帧跟踪阶段限定框包含的图像块与第t帧灰度图像视频帧序列的正负样本库L_t中样本的相关相似度上标T表示跟踪阶段；

2.8若相关相似度满足则令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签并认为第t+1帧灰度图像视频帧序列跟踪阶段跟踪失败；

其中，表示第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签，表示第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签，表示第t+1帧灰度图像视频帧序列中归一化互相关预测法预测成功，表示第t+1帧灰度图像视频帧序列中马尔科夫预测法预测成功；

若相关相似度令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签将归一化互相关预测后第t+1帧跟踪阶段限定框作为第t+1帧灰度图像视频帧序列的跟踪阶段限定框tb_t+1，并将第t+1帧灰度图像视频帧序列的跟踪阶段限定框tb_t+1作为第t+1帧灰度图像视频帧序列跟踪阶段的最终输出；其中，表示第t+1帧灰度图像视频帧序列中归一化互相关预测法预测失败，表示第t+1帧灰度图像视频帧序列中马尔科夫预测法预测失败；

若相关相似度不满足和中任一条件，则令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签将马尔科夫预测后第t+1帧跟踪阶段限定框作为第t+1帧灰度图像视频帧序列的跟踪阶段限定框tb_t+1；

其中，θ^R表示相关相似度阈值，上标R表示相关相似度，max表示取最大值；

步骤3，从第t+1帧灰度图像视频帧序列中获得第t+1帧灰度图像视频帧序列的检测阶段限定框db_t+1；

步骤3的子步骤为：

3.0确定第t+1帧灰度图像视频帧序列扫描区域为A_t+1，设定第t+1帧灰度图像视频帧序列尺度等级无序的扫描采用个尺度等级，为正奇数且个尺度等级依次为即第t+1帧灰度图像视频帧序列的尺度等级第t+1帧灰度图像视频帧序列尺度等级为s_t+1的滑动窗口高度为第t+1帧灰度图像视频帧序列尺度等级为s_t+1的滑动窗口宽度为

3.1若第t+1帧灰度图像视频帧序列尺度等级为s_t+1的滑动窗口高度或第t+1帧灰度图像视频帧序列尺度等级为s_t+1的滑动窗口宽度则对应尺度等级为s_t+1的情况下检测阶段检测失败，令相关相似度表示第t+1帧灰度图像视频帧序列尺度等级s_t+1对应的检测阶段限定框包含的图像块和第t帧灰度图像视频帧序列的正负样本库L_t中样本的相关相似度，表示第t+1帧灰度图像视频帧序列尺度等级为s_t+1的滑动窗口经过扫描和分类后得到的检测阶段限定框；若则使用大小为滑动窗口对第t+1帧灰度图像视频帧序列扫描区域A_t+1按照先水平后竖直的顺序进行扫描，第t+1帧灰度图像视频帧序列水平方向上步长为第t+1帧灰度图像视频帧序列竖直方向上步长为总计得到个扫描窗口，每个扫描窗口包含一个图像块，进而得到个图像块；其中为大于0的正整数，n为设定常数；

3.2对个图像块使用方差分类算法进行方差分类，在第t+1帧灰度图像视频帧序列扫描区域A_t+1中得到经过方差分类的个图像块；其中，上标1表示经过方差分类；

3.3对经过方差分类的个图像块使用随机森林分类算法进行随机森林分类，在第t+1帧灰度图像视频帧序列扫描区域A_t+1中得到经过随机森林分类的个图像块；其中，上标2表示经过随机森林分类；

3.4对经过随机森林分类的个图像块使用最近邻分类算法使用进行最近邻分类，在第t+1帧灰度图像视频帧序列扫描区域A_t+1中得到经过最近邻分类的个图像块；其中，上标3表示经过最近邻分类；3.5若经过最近邻分类的图像块个数则在第t+1帧灰度图像视频帧序列尺度等级为s_t+1的滑动窗口的检测阶段检测失败；经过最近邻分类的图像块个数对包含个图像块的扫描区域使用目标跟踪算法得到第t+1帧灰度图像视频帧序列尺度等级为s_t+1时对应的个检测阶段限定框；

3.6根据归一化互相关匹配算法计算个图像块分别与第t帧灰度图像视频帧序列的正负样本库L_t中样本的相关相似度，进而得到个相关相似度；将个相关相似度中的最大值标记为尺度等级为s_t+1时的最大相关相似度若尺度等级为s_t+1时的最大相关相似度对应的检测阶段限定框不唯一，则将个相关相似度中第1个相关相似度重新标记为尺度等级为s_t+1时的最大相关相似度

3.7令s_t+1的值分别取0、-1和1，重复执行子步骤3.1至3.6，分别得到尺度等级为0时的最大相关相似度尺度等级为-1时的最大相关相似度和尺度等级为1时的最大相关相似度然后根据尺度等级为0时的最大相关相似度尺度等级为-1时的最大相关相似度和尺度等级为1时的最大相关相似度之间的大小关系，决定下一个第t+1帧灰度图像视频帧序列滑动窗口扫描所用的尺度等级，具体过程为：

(1)若相关相似度max表示取最大值，执行以下子步骤：

3.7.1设置第一尺度等级临时变量为s′，令第一尺度等级临时变量s′的初始值为2，执行步骤3.7.2；

3.7.2根据子步骤3.1至3.6对第t+1帧灰度图像视频帧序列扫描区域A_t+1使用尺度等级为s′的滑动窗口进行扫描和分类，得到尺度等级为s′时的最大相关相似度执行步骤3.7.3；

3.7.3若相关相似度令第一尺度等级临时变量s′的值减1，执行步骤3.7.4；若相关相似度令第一尺度等级临时变量s′的值加1，执行步骤3.7.2；直到满足条件执行步骤3.7.4；

3.7.4令第t+1帧灰度图像视频帧序列的尺度等级s_t+1的值等于第一尺度等级临时变量s′的值，将第t+1帧灰度图像视频帧序列尺度等级为s_t+1的滑动窗口经过扫描和分类后得到的检测阶段限定框作为第t+1帧灰度图像视频帧序列的检测阶段限定框db_t+1；

(2)若相关相似度max表示取最大值，执行以下子步骤：

3.7.5设置第二尺度等级临时变量令第二尺度等级临时变量s的初始值为-2，执行步骤3.7.6；

3.7.6根据子步骤3.1至3.6对第t+1帧灰度图像视频帧序列扫描区域A_t+1使用尺度等级为的滑动窗口进行扫描和分类，得到尺度等级为时的最大相关相似度执行步骤3.7.7；

3.7.7若相关相似度令第二尺度等级临时变量的值加1，执行步骤3.7.8；若相关相似度令第二尺度等级临时变量s的值减1，执行步骤3.7.6；直到满足条件执行步骤3.7.8；

3.7.8令第t+1帧灰度图像视频帧序列的尺度等级s_t+1的值与第二尺度等级临时变量s的值取值相等，将第t+1帧灰度图像视频帧序列尺度等级s_t+1对应的扫描窗口扫描和分类后得到的检测阶段限定框作为第t+1帧灰度图像视频帧序列的检测阶段限定框db_t+1；

(3)若相关相似度不满足和中的任一条件，则将第t+1帧灰度图像视频帧序列的尺度等级s_t+1取值为0时对应的扫描窗口sw_t+1,0扫描和分类后得到的检测阶段限定框作为第t+1帧灰度图像视频帧序列的检测阶段限定框db_t+1；

步骤4，根据第t+1帧灰度图像视频帧序列的跟踪阶段限定框tb_t+1和第t+1帧灰度图像视频帧序列的检测阶段限定框db_t+1，得到第t+1帧目标限定框，进而确定第t+1帧跟踪目标的最终位置；

步骤5，令t的值加1，执行步骤2至步骤4,直到得到第2帧跟踪目标的最终位置至第L帧跟踪目标的最终位置，并记为基于跟踪学习检测的目标跟踪优化结果。