[发明专利]基于角点特征不变量和图论聚类的目标跟踪方法

说明书

技术领域

本发明涉及一种目标跟踪方法，尤其涉及一种基于角点特征不变量和图论聚类的目标跟踪方法。

背景技术

目标跟踪在视觉导航、行为识别、智能交通等领域有非常广泛的研究和应用。当前大多数的运动检测和目标跟踪算法都是基于混合高斯背景模型，但其难以解决光照变化、遮挡、粘连、摄像机抖动等问题；其它跟踪算法如光流法跟踪、基于边缘模型的跟踪、基于特征的跟踪、CamShift跟踪等，也都不能很好解决上述问题；事实上，在目标跟踪领域有更多的问题，比如尺度变化、旋转、噪声、阴影等也一直没有很好的解决方案。随着图像不变量特征的研究和图论在图像领域的应用，为本发明提供了灵感和技术支持，可以很好解决以上所有问题。

发明内容

技术问题：本发明所要解决的技术问题是：克服现有的目标跟踪方法的不足，提供一种基于角点特征不变量和图论聚类的目标跟踪方法，可以处理场景中目标尺度变化(由近及远或由远及近)、旋转、噪声、昼夜变化、遮挡、粘连、摄像机抖动等难题，形成稳定的目标轨迹及其精确的运动信息。

技术方案：本发明基于角点特征不变量和图论聚类的目标跟踪方法，提取特征点进行跟踪，然后对这些点的轨迹做图论聚类，把轨迹归类到各自的目标，具体包括：

1)摄像机标定，根据平面模型确立世界坐标与图像坐标的变换关系矩阵，并据此建立目标尺寸图，根据变换矩阵计算每个像素点目标尺寸的范围，其大小作为目标尺寸图的像素值，标定只需一次进行即可；这里假定场景中目标的实际尺寸基本一致，比如公路上的轿车，或广场上的行人，对于场景中有不同尺寸的目标的跟踪，可融合其它算法综合处理。

2)图像预处理，把视频流的帧图像转换为灰度图像，计算灰度图像整体亮度和对比度，判断图像场景属于白天、傍晚或晚上；若属白天则不作预处理，若为傍晚可对图像作对比度拉伸或直方图均衡化处理，若属晚上，先检测是否有大片高亮区域，若有则应用Tophat形态学处理求出车灯造成的高亮区域，只留下目标包括车灯等区域，然后求Canny边缘图像，然后再做形态学开运算，这样保证步骤(3)角点检测时，不论白天或晚上都有大量的角点。

3)角点检测，对预处理后的灰度图像，检测其Harris角点，Harris的特性可使多数角点都在运动目标上，其参数根据图像尺寸和场景自动调节。

4)不变量特征提取，在灰度图像的每个角点上计算特征不变量，这里选取Lowe的SIFT(尺度不变量特征变换)特征描述符，即计算梯度直方图作为特征向量；可根据场景对SIFT算法作精简，比如只考虑尺度或旋转的情况，或者尺度和旋转都不考虑。

5)特征匹配，每帧都求出角点及其不变量特征后，上一帧的每个角点与本帧邻域内的所有角点进行匹配，邻域根据角点上一帧的位置和速度做线性插值估计或kalman估计得到，匹配方法为计算角点与邻域内所有角点SIFT特征向量的欧氏距离，最小距离小于阈值且与次小距离的比率小于一定阈值时则为匹配。

6)形成角点轨迹，把帧间匹配的角点连接起来形成该角点的轨迹链表，若当前帧没有匹配到，则用估计点代替；当前帧没有被匹配的角点则作为新的轨迹插入轨迹链表；连续若干帧没有匹配到的轨迹则删除；实时计算每帧所有轨迹的速度、方向等信息。

7)基于图论进行轨迹聚类，把每条轨迹作为图的一个节点，节点之间的边的连接权重为两轨迹的相似度，相似度的计算为轨迹的坐标距离、速度和方向之差的加权；聚类后形成若干个临时目标，每个临时目标包含若干轨迹，目标的质心、速度和方向根据其所含轨迹平均值求得，目标尺寸为所含轨迹的外接凸多边形或外接矩形。

8)目标合并与分裂，首次出现的临时目标直接作为确定目标，否则根据已有的确定目标与当前帧聚类形成的临时目标做合并，并作合理性检验，来更新当前的确定目标；确定目标(经过了一段时间的更新)若判断为不合理，则把一部分轨迹分裂出去，直到满足合理性条件。

9)合理性检验，若轨迹速度接近为0且在背景帧差得到的运动区域时，则认为轨迹不合理，予以删除；若轨迹不断反复或者剧烈跳变，不符合实际运动情形则也认为轨迹不合理，予以删除；根据目标尺寸是否满足对应位置的目标尺寸图的像素值，以及目标内轨迹间的历史一致性综合判断目标是否合理；对于总的运动位移小于一定阈值的目标，可以标记为可疑目标，暂时不作为最终的目标，等到位移达到一定阈值时再去除可疑标记。