[发明专利]面向交通视频的夜间车辆检测与跟踪方法

摘要

面向交通视频的夜间车辆检测与跟踪方法，步骤如下：步骤1.提取车灯；步骤2.过滤非车灯；步骤3.车灯匹配；步骤4.车辆跟踪。本发明针对夜间道路上的光照条件非常复杂，不仅车体上的各种车灯种类多样，而且路面也会有车灯的光线反射，再加上道路两边的护栏反光、路灯等问题，使用OSTU与一维最大熵阈值分割算法结合实现车灯的提取，剔除非车灯光源，准确提取出车前灯；此外，本发明利用车灯的时空特性，使用匹配算法对提取的车灯进行配对，解决了一车多灯和并排同速车辆的问题；利用Kalman滤波器对车辆运动信息进行预测，实现车辆的跟踪。

主权项

面向交通视频的夜间车辆检测与跟踪方法，步骤如下：步骤1.提取车灯；夜间交通场景中，无论城市交通还是高速公路，车头灯是车辆最明显的特征,所以提出了在夜间提取了车灯的办法，提取了车灯就意味着提取了车辆；提取车灯的办法是通过图像计算出整幅图的分割阈值，进行图像分割，分割出包括车灯的亮光区域；首先使用OTSU求得初始自适应阈值，然后只考虑大于自适应阈值部分的像素，计算最大熵求出最终的图像分割阈值；11)计算夜间交通视频图像的灰度直方图，提取灰度直方图的双峰特征，其实车灯直方图对应接近255的地方，有明显的峰值；其实在峰值的不仅只有车灯，地面反光和道路护栏的反光亮度值也很高，而场景中其他部分的亮度值则很小；通过计算视频图像像素点周围区域的加权平均，然后减去一个常数来求出初始自适应阈值t；12)只考虑大于t部分的像素，用来计算最大熵；图像的熵是一种特征的统计形式，它反映了图像中平均信息量的多少；图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，假设灰度分布为0到L，F(t)表示图像中灰度值为t的像素所占的比例，则灰度图像的一元灰度熵H如式(1)所示：H(F(t))＝‑F(t)ln F(t)‑(1‑F(t))ln(1‑F(t))  (1)通过熵的计算，求出最大熵maxH(F(t))对应的阈值Tr，使用Tr将图像进行分割，分割出场景中的车灯，同时分割出了地面的反光和道路护栏的反光；步骤2.过滤非车灯；计算阈值分割出场景中的车灯后，由于地面和护栏反光亮度也比较高，地面的反光和道路护栏的反光也被分割出来；为了过滤场景中非车辆光源；过滤非车灯的噪声的步骤如下：21)对每一帧设置了感兴趣区域(ROI)，只对ROI区域的车辆进行提取，车辆用V表示；使用矩形包围盒Bi代表明亮区域；W(Bi)表示Bi的宽度，H(Bi)表示Bi的高度，阈值TRL和TRH分别设置为0.8和1.25，对于第i车辆Vi的车前灯VHi必须满足以下条件：TRL≤W(Bi)/H(Bi)≤TRH  (2)22)ROI区域车等面积相差很小，用下面的公式将面积相差过多的Bi剔除：TALn≤A(Bi)n≤TAHn  (3)23)将ROI区域在垂直方向上分为三个部分，在三个区域选出大中小型车辆，分别计算其面积值；其中A(Bi)n表示Bi在第n区域的面积大小，TALn表示第n区域面积最小值ALn的0.8倍，TAHn表示第n区域面积最小值AHn的1.25倍；24)对于检测到的明亮块，不断的跟踪，在连续的多帧图像中如果明亮块的圆形度值变化量大于指定的范围，一般取0.85，则认为该明亮块是噪声，将其进行过滤；圆形度是图像处理中一个重要概念，它表示图像与圆的相似程度；用e表示圆形度，S表示图像的面积，C表示图像的周长，其计算公式如(4)所示：e=4πSC2---(4)]]>步骤3.车灯匹配；为了提取出具体的车辆，必须将车灯进行配对，将属于同一辆车的车灯归为一类；任何车辆的车灯在空间上存在一定的关系，由于同属于一辆车，所以它们一般成对出现，但是也存在一车多灯和两车并排的情况；一般情况下，车辆的车灯是同速同向移动，而且面积、长宽比等参数相似；利用车灯之间的空间信息对车灯进行匹配,步骤如下：31)将在同一水平方向的车灯作为一个集合Sy，将Sy中车灯分为不同的组(k表示帧数，i表示车灯组索引)，对于没有配对成功的车灯单独作为一组；32)将属于同一辆车的多个车灯匹配到一组,A(Bi)，A(Bj)分别表示Bi，Bj的面积，阈值TALr和TAHr设置为0.8和1.25,车灯配对要满足距离和大小的限制，对于同一辆车的多个车灯Bi的坐标相近，面积大小相差很小，所以Bi和Bj应该满足如下条件则配对,车灯面积要满足下式：TALr≤A(Bi)/A(Bj)≤TAHr  (5)车灯的垂直方向差值要满足下式：|Bi(y)‑Bj(y)|≤0.5×min[H(Bi),H(Bj)](6)式中Bi(y)表示Bi中心的垂直方向坐标，H(Bi)表示Bi的高度；车灯Bi，Bj满足(5)、(6)则将车灯Bi，Bj分配到集合Sy中,可以使得场景中车辆的车灯简单的匹配，计算匹配后的车灯对的质心即可得到车辆的中心；33)计算车灯的水平距离，计算两个车灯的水平距离；水平距离大于Thb(Thb根据摄像头的角度和高度来确定)，则两个车灯不属同一辆车；34)如果车灯距离小于Thb，多个车灯相邻,计算连续的车灯间的总距离即公式7中f(x)的值，Bi,Bj表示任何两个车灯，Bi(x)，Bj(x)是车灯的水平坐标；f(x)＝∑[Bi(x)‑Bj(x)]2  (7)比较所有f(x)的值，f(x)值最小的匹配方式，即为最优化匹配；35)经过计算得到当前帧的所有车灯对，计算车灯对中心，任何两个满足(8)和(9)的车灯对所包含的车灯都属于同一辆车，是车灯对BPi和BPj的水平方向坐标，是车灯对BPi和BPj中心点的水平均值，和是车灯对BPi和BPj的垂直坐标,和是车灯对BPi和BPj的高度；|BPnk(x)-BPik(x)|+|BPnk(x)-BPjk(x)|<|BPjk(x)-BPik(x)|---(8)]]>|BPik(y)-BPjk(y)|<H(BPik)+H(BPjk)---(9)]]>步骤4.车辆跟踪；夜间交通场景中车辆跟踪的实现是通过车灯的跟踪来完成的，由于场景中一般都会有多辆车，所以车辆的跟踪本质上是多目标跟踪问题；对于多目标的跟踪，通过先假设动态模型的运动信息，使用这些信息与跟踪对象匹配，所以车辆的跟踪满足先匹配模型，然后修正模型的参数，再进行预测新的位置，不断地迭代，直到车辆退出视频；目标参数匹配在连续的帧间进行，首先将当前帧中车灯对的特征参数保存到集合S＝{BPi，i＝1,2,3,……N，N是自然数}中，然后将已知的车灯对BPi与当前帧中车灯进行匹配，根据相似度判断出最相似的目标，更新已知的目标集合S，根据视频序列逐帧执行上述过程完成参数匹配；为了有效地定位已知目标在当前帧中的位置，并且对目标暂时丢失情况的跟踪，采用Kalman滤波来预测目标在下一时刻的位置，将参数匹配和Kalman滤波结合起来实现目标跟踪步骤如下：41)从视频的第i帧开始，提取场景中的目标作为初始值，使用Kalman滤波预测目标在下一帧中的位置；42)若BPi满足下式，则在下一帧中将车辆BPi从集合S中删除；BPi(y)＞ROI(y)‑T  (10)其中ROI(y)表示感兴趣区域垂直方向的最大值，T设置为是车灯对BPi高度的一半H(BPi)/2；对当前帧中提取的目标与预测值进行对比，如果匹配成功则转步骤44)，不成功则转步骤43)；43)如果集合中没有找到与该目标匹配的车灯，则将该车灯作为新目标加入集合；预测集合中数据BPi在连续的15帧中没有匹配的车灯，则从集合S中将BPi删除；44)第t帧中存在车灯组i是自然数，K是车灯组的取值；该集合的预测值中存在并且在t帧中存在与之匹配，则将添加至转步骤42)。