[发明专利]一种从视频中提取目标检测样本集的方法

说明书

本发明公开了一种从视频中提取目标检测样本集的方法。本发明从视频中生成少量的目标检测训练测试样本集并得到一个目标检测器，利用这个目标检测器处理视频中的每帧图像，得到每个目标在视频中的若干分散的跟踪段。对分散的跟踪段进行匹配，将漏检目标所在的图像帧，作为候选的目标检测训练测试图像样本。对得到的每个检测跟踪目标，在其跟踪轨迹上选择一帧图像，根据目标检测器输出的该目标的矩形包围盒，在这帧图像上抠图得到目标区域图像；将误检目标所在的图像帧作为候选的目标检测训练测试图像样本。在以上两类候选的训练测试图像样本中按比例均匀采样得到需要增加的图像样本。本发明能够减少训练测试样本数量，缩短机器学习的训练时间。

技术领域

本发明属于计算机视觉技术领域，涉及一种从视频中提取目标检测样本集的方法。

背景技术

目前拍摄各类交通违法、治安等监控相机已经大量的安装和使用，这些设备所采集到的视频图像数据量非常庞大，对这些数据进行目标内容的分析和信息的挖掘已经成为科研和工业界的一个研究热点，其中检测与跟踪视频中的关键目标是对目标进行分析和后期信息挖掘的基础工作。

目前主流的目标检测器都是基于大量的标注过图像样本经过机器学习训练而得到的，而且业内公认这些标注的图像样本的数量及其典型代表性对目标检测器的性能优劣起着决定性作用。视频相邻帧之间的图像相似度非常高，信息冗余非常大，如果每帧都做标注，满足训练需求的标注量将是一个天文数字，如何高效的采样和筛选尽量少而且训练所得到的模型性能也能满足需求一直以来都是业内必须要面对的一个难题。

从视频数据中生成和建立目标检测训练与测试图像数据集的常用方法，就是在间隔固定帧数的均匀采样或者间隔随机帧数的随机采样，这两种方法是获取少量训练与测试图像样本集的有效方案，但是随着训练与测试图像样本集需要不断的扩充、增补，继续使用这两种方案得到的图像样本相对与已有的训练与测试图像样本集，其典型性和代表性就会随着图像样本集的不断增大而逐渐降低，扩充和增补的单张图像样本对算法性能提升的作用也会逐渐变小，一直会降到没有作用。这也是传统从视频数据中生成和建立目标检测训练与测试图像数据集方法的一个严重问题和缺陷。

发明内容

针对现有技术的不足，本发明提供了一种从视频中提取目标检测样本集的方法。

本发明的方法具体是：

步骤1、基于已有的少量目标检测训练测试样本M，利用成熟的机器学习算法和目标检测框架训练得到临时的目标检测器D，进而处理视频源中的每帧图像得到每帧图像中目标检测器D输出的所有目标包围盒。

步骤2、利用简单的包围盒匹配算法，匹配关联相邻帧中的目标包围盒，得到包围盒的直接关联结果，即视频中目标的初步跟踪结果。

步骤3、由于目标检测器D的性能不好，视频中目标所在的所有帧很难被全部检测到，初步跟踪结果中会有很多目标被分裂为多个虚假的目标跟踪结果，对这些被分裂的跟踪结果进行预测跟踪，关联相关的被分裂视频段。

步骤4、步骤3中通过预测跟踪关联上的目标跟踪轨迹会有部分视频帧中目标检测器D是没有检测到该目标的，将这些没有检测到对应目标的视频帧作为候选待增加训练测试样本A。

步骤5、从步骤3中每个目标跟踪结果中选择一帧图像，根据目标检测器D的包围盒，扣取相应目标区域图像，生成待判定目标图像集S。

步骤6、人工对步骤5中待判定目标图像集S中的每张图像进行是否为目标类的判定，挑选出非目标类的误检目标集F，根据F中每个目标的跟踪轨迹抽取相应的视频帧作为候选待增加训练测试样本B。

步骤7、对步骤4中的候选待增加训练测试样本A与步骤6中的候选待增加训练测试样本B进行均匀采样，按比例抽取最终的需要增加的待标注训练测试样本N。