[发明专利]一种基于多目标追踪框架的无人机视频中车速校正方法

说明书

本发明公开了一种基于多目标追踪框架的无人机视频中车速校正方法。该方法为：采集无人机拍摄的视频并分拣具有俯视视角的车辆图像制作视频数据集；在数据集上重新训练深度卷积神经网络，提取深层语义特征，回归目标预测框；在实现目标检测的基础上，采用交并比IOU度量目标相似性，匹配对应的目标；结合卡尔曼滤波器构建多目标实时追踪框架；利用设计的高斯滤波器减小由算法框架在追踪车辆目标时计算的车辆速度的数据抖动和误差，从车辆轨迹中提取更加精确的车辆运动数据。本发明提高了在多目标追踪过程中提取运动目标参数的准确度，实现了运动目标的快速预测与校正。

技术领域

本发明涉及计算机视觉技术领域，特别是一种基于多目标追踪框架的无人机视频中车速校正方法。

背景技术

基于视频的车速分析是交通安全领域的一项具有挑战性的任务，对准确性和计算负担要求很高。无人机技术的发展使视频质量更加高清，视频拥有更多信息。无人机的视频采用自上而下的视角，与普通监控摄像机雷达相比，提供更完整的视野。多目标追踪框架可以实现对视频中车辆的实时追踪，通过分析车辆行进轨迹可以获得车辆的速度、位置等参数，这对于交通安全领域具有十分重要的意义。

在目标检测中，目标物体的特征通常是已知的，因此可以利用已知目标的先验知识设计目标检测器。从方法上看主要分为两类：第一类是基于传统图像处理的经典目标检测算法，如Adaboost、Support Vector Machine(SVM)等；第二类是基于卷积神经网络的深度学习算法，如Faster R-CNN、YOLO和SSD等。

经典目标检测算法，采取手工设计的算子，如Canny、Hog和LBP等特征，再结合滑动窗口的目标检测策略对图像中的可能存在的目标完成检测任务。在张有节等人提出的《基于无人机视频的交通参数提取技术研究》中采用传统图像处理的车辆检测手段，如边缘检测算法，在车辆检测精度上有一定的损失。这些手工设计的算子通常仅能提取某种单一特征，因而无法全面地表示物体所拥有的特征，这也就导致物体本身发生一定的形变或者周围背景的环境发生光照等变化时，目标检测器的准确率急剧下降。

深度学习以其优异的目标检测性能在机器视觉中占据了一席之地。深度学习通过构建具有深层结构的卷积神经网络，实现对输入信息的逐层提取和筛选，获得“深层语义”特征，对目标的描述具有更强的泛化能力。作为典型的Two-stage中的一员，R-CNN系列通过Selective search算法在图像上滑动窗口，获得一定的候选区域，随即投入卷积神经网络中提取深层特征，后又利用反向传播算法，更新模型权重，使得网络在目标检测任务中趋于最优化，获得更好的检测精度。

多目标追踪是在目标检测的基础上完成连续视频序列中的追踪目标在不同帧中的轨迹。多目标追踪分为两类：Online tracking和Offline tracking。虽然Offlinetracking更容易获得全局最优解，但适用范围局限，因此实际情况中更偏向于利用当前帧的之前视频序列信息的Online tracking。目前，对视频序列中目标进行多目标追踪任务时，由于目标预测不稳定所引起的追踪轨迹抖动剧烈，Fu Yuan Hud等人在《A HighEfficient System for Traffic Mean Speed Estimation from MPEG Video》中采用均值滤波的方法，对车速进行估计，但是该方法无法适应变化巨大的数据分布，在车速校正效果上有一定局限性。

发明内容

本发明的目的在于提供一种速度快、准确率高的基于多目标追踪框架的无人机视频中车速校正方法。

实现本发明目的的技术解决方案为：一种基于多目标追踪框架的无人机视频中车速校正方法，包括以下几个步骤：

步骤1、采集无人机视频并分拣具有俯视视角的车辆图像制作视频数据集，获得第t帧图像；

步骤2、目标检测算法YOLOv3处理第t帧图像，并为每个目标i分配唯一对应的预测框从而获得预测框集P^t；