[发明专利]用于航拍视频交通分析的系统和方法

说明书

公开了一种用于航拍视频交通分析的系统和方法。特定实施例被配置为：从无人驾驶飞行器(UAV)接收捕获到的视频图像序列；通过去除不必要的图像来对所述视频图像序列进行剪辑；通过选择参考图像并且针对所述参考图像调整其他图像来使所述视频图像序列稳定；提取所述视频图像序列中的背景图像以进行车辆分割；执行车辆分割以逐个像素地标识所述视频图像序列中的车辆；确定每个所标识的车辆的质心、行驶方向和矩形形状；执行车辆追踪以在所述视频图像序列的多个图像帧中检测相同的所标识的车辆；并且产生所述视频图像序列的输出和可视化，包括所述背景图像和每个所标识的车辆的所述图像的组合。

相关申请的交叉引用

该专利文件要求2017年10月5日提交的美国专利申请第15/725,747号的优先权和权益，该申请通过引用的方式全部并入本文。

技术领域

在该专利文件中公开的技术和实施方式大体上涉及用于人类驾驶员建模、轨迹生成和运动计划、车辆控制系统、自主驾驶系统以及自主驾驶模拟系统的工具(例如系统、装置、方法、计算机程序产品等)。

背景技术

自主车辆导航是一种用于感测车辆的位置和移动并且基于该感测来自主地控制车辆朝着目的地进行导航的技术。自主车辆导航可以在人员、货物和服务的运输中具有重要的应用。

发明内容

本文公开了一种用于航拍视频交通分析的系统和方法。航拍视频交通分析包括以下任务：从飞行器(例如UAV)所捕获到的航拍视频中提取交通信息(包括地面车辆的形状、行驶方向和轨迹)，飞行器以期望的地理位置和高度被定位在路面正上方。航拍视频是一种用于采集交通信息的廉价的方式。如本文公开的航拍视频交通分析可以提供对在现实世界交通环境和状况中的人类驾驶行为的重要见解。这些人类驾驶行为见解可以用于训练人类驾驶行为模型，该模型可以与用于配置自主驾驶控制系统的模拟环境一起使用。在本文所公开的各个示例实施例中，提出了解决方案，用于通过将经典的深度计算机视觉方法与专门定制的深度学习模型相结合，来完成航拍视频交通分析。本文所公开的示例实施例在大多数状况下都可以实现像素级准确度。示例实施例还解决了由在典型的交通环境中的车辆的多样性所引起的另一具有挑战性的问题。本文所公开的示例实施例可以识别所有类型的车辆，从如同摩托车的小型车辆到如同运输拖车的大型车辆。所公开的示例实施例对车辆的大小不敏感，这使得各个实施例适合于所有类型的车辆。

本专利文件尤其提供了一种用于航拍视频交通分析的系统和方法，该系统和方法可以例如用于人类驾驶员建模、轨迹生成和运动计划、车辆控制系统、自主驾驶系统以及自主驾驶模拟系统。在所公开的技术的实施方式中，一种系统包括：无人驾驶飞行器(UAV)，配备有相机，以升高的位置被部署在被监测的位置处，UAV被配置为使用UAV相机来在预定时间段内捕获被监测的位置的视频图像序列；数据处理器；以及图像处理模块，可由数据处理器执行。图像处理模块被配置为：从UAV接收捕获到的视频图像序列；通过去除不必要的图像来对视频图像序列进行剪辑；通过选择参考图像并且针对参考图像调整其他图像来使视频图像序列稳定；提取视频图像序列中的背景图像以进行车辆分割；执行车辆分割以逐个像素地标识视频图像序列中的车辆；确定每个所标识的车辆的质心、行驶方向和矩形形状；执行车辆追踪以在视频图像序列的多个图像帧中检测相同的所标识的车辆；并且产生视频图像序列的输出和可视化，包括背景图像和每个所标识的车辆的图像的组合。

在所公开的技术的另一实施方式中，一种方法包括：从无人驾驶飞行器(UAV)接收捕获到的视频图像序列；通过去除不必要的图像来对视频图像序列进行剪辑；通过选择参考图像并且针对参考图像调整其他图像来使视频图像序列稳定；提取视频图像序列中的背景图像以进行车辆分割；执行车辆分割以逐个像素地标识视频图像序列中的车辆；确定每个所标识的车辆的质心、行驶方向和矩形形状；执行车辆追踪以在视频图像序列的多个图像帧中检测相同的所标识的车辆；以及产生视频图像序列的输出和可视化，包括背景图像和每个所标识的车辆的图像的组合。