[发明专利]车辆对象追踪

说明书

本公开提供了“车辆对象追踪”。一种系统，包括计算机，所述计算机包括处理器和存储器，所述存储器存储能够由所述处理器执行以基于视频数据流确定对象位置预测的指令，其中所述对象位置预测是基于利用神经网络处理经裁剪TEDA数据。所述处理器可进一步被编程为基于车辆的位置将所述对象位置预测下载到所述车辆。

技术领域

本公开总体上涉及车辆计算机和传感器。

背景技术

车辆可被配备成以自主模式和乘员驾驶模式操作。就半自主或全自主模式而言，意指其中车辆可由计算装置部分或完全进行驾驶的操作模式，所述计算装置作为具有传感器和控制器的车辆信息系统的一部分。所述车辆可被占用或者未被占用，但是在任一情况下，可在没有乘员辅助的情况下部分或完全地驾驶车辆。出于本公开的目的，自主模式被定义为其中车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制的模式；在半自主模式中，一个或多个车辆计算机控制车辆推进、制动和转向中的一者或两者。在非自主车辆中，这些都不由计算机控制。

车辆可配备有计算装置、网络、传感器和控制器以获取有关车辆的环境的信息并且基于所述信息来操作车辆。车辆的安全且舒适的操作可取决于获取有关车辆的环境的准确且及时的信息。车辆传感器可提供涉及在车辆的环境中要行进的路线和要避开的对象的数据。车辆的安全且有效的操作可取决于在车辆在道路上操作时获取有关在车辆的环境中的路线和对象的准确且及时的信息。

发明内容

车辆中的计算装置可被编程为获取有关车辆的外部环境的传感器数据并使用所述传感器数据来确定用于以自主或半自主模式基于其操作车辆的车辆路径。车辆路径是描述车辆在平行于车辆在其上进行操作的道路表面的二维(2D)平面上的连续位置(即，不同时间的位置)的直线或曲线。基于车辆路径，计算装置可引导车辆动力传动系统、转向和制动部件以在道路上操作车辆。交通控制系统可基于由固定视频相机获取的视频数据追踪对象，并且可基于车辆在全局坐标中的位置将包括全局坐标中的位置的追踪对象信息下载到车辆。车辆可基于下载的追踪对象信息在车辆路径上操作。

本文公开了一种方法，所述方法包括：基于视频流数据确定对象位置预测，其中所述对象位置预测是基于利用神经网络处理经裁剪典型性和离心率数据分析(TEDA)数据；并且基于车辆的位置将所述对象位置预测提供给所述车辆。TEDA数据可通过处理所述视频流数据以基于k视频帧的移动窗口上的每像素平均值和每像素方差确定离心率图像来确定，其中k是较小的数。TEDA数据可通过确定三通道输出图像来确定，所述三通道输出图像包括灰度图像、正离心率e⁺图像和负离心率e^-图像。所述TEDA数据可基于所述对象位置预测来裁剪，其中初始对象位置预测是基于利用神经网络处理视频流数据帧并确定最小包围矩形确定的。所述经裁剪TEDA数据可利用卷积神经网络来处理以确定所述对象位置预测。

第一对象位置预测可与中间结果级联或在随后的迭代中与在前一迭代中输出的对象位置预测级联，并且利用完全连接的神经网络进行处理以确定所述对象位置预测。所述对象位置预测可基于全局坐标。所述对象位置预测可基于与所述车辆的所述位置相对应的全局坐标来提供。所述视频流数据可由包括在交通基础设施系统中的固定视频相机获取，所述交通基础设施系统包括经由无线网络与所述车辆进行通信的计算装置。所述神经网络可基于记录的视频流数据和记录的地面实况对象位置信息来训练。所述地面实况对象位置信息可基于全局坐标来确定。操作所述车辆可基于所述对象位置预测。可基于所述对象位置预测操作所述车辆，其包括：确定车辆路径，并且将所述对象位置预测与所述车辆路径相结合。可基于所述位置预测操作所述车辆包括控制车辆动力传动系统、制动器和转向中的一者或多者。