[发明专利]来自多个传感器的数据集成

说明书

公开了涉及自主驾驶的方法和设备。在一个方面，公开了一种方法。方法包括：确定由光检测和测距LIDAR传感器捕获的道路目标信息中的一个或多个第一对象的三维边界指示符；确定由相机传感器捕获的道路图像信息中一个或多个第二对象的相机边界指示符；处理道路图像信息以生成相机矩阵；根据相机矩阵和三维边界指示符来确定投影边界指示符；根据投影边界指示符和相机边界指示符来确定一个或多个第一对象与一个或多个第二对象之间的关联以生成组合目标信息；以及由自主驾驶系统应用组合目标信息以产生车辆控制信号。

技术领域

本文涉及自主驾驶。

背景技术

自主驾驶使用传感器和处理系统，该传感器和处理系统将自主车辆周围的环境纳入考虑范围，并做出确保自主车辆和周围车辆安全的决策。传感器应当准确地确定到潜在干扰车辆以及其他可移动和不可移动对象的距离及其速度。需要一种新技术来对自主车辆系统进行测试，并根据从实际传感器获取的实际驾驶数据对自主车辆系统进行训练。

发明内容

所公开的主题涉及自主驾驶，并且具体地涉及用于自主驾驶的感知系统以及用于对感知系统进行基准测试和训练的数据。在一个方面，公开了一种生成驾驶数据并将所述驾驶数据应用于自主驾驶系统的方法。所述方法包括：确定由光检测和测距LIDAR传感器捕获的道路目标信息中的一个或多个第一对象的三维边界指示符；确定由相机传感器捕获的道路图像信息中一个或多个第二对象的相机边界指示符；处理所述道路图像信息以生成相机矩阵；根据所述相机矩阵和所述三维边界指示符来确定投影边界指示符；根据所述投影边界指示符和所述相机边界指示符来确定所述一个或多个第一对象与所述一个或多个第二对象之间的关联以生成组合目标信息；以及由所述自主驾驶系统应用所述组合目标信息以产生车辆控制信号。

在另一方面，公开了一种用于生成数据并将所述数据应用于自主驾驶系统的装置。所述装置包括至少一个处理器以及包括可执行指令的存储器，所述可执行指令在被执行时执行前述方法。

在另一方面，公开了一种非暂时性计算机可读介质，用于存储用于生成数据并将所述数据应用于自主驾驶系统的可执行指令。当所述可执行指令由至少一个处理器执行时，它们执行前述方法。

以下特征可以包括在各种组合中。所述应用包括使用用于训练和测试的数据来训练系统，该训练和测试使用诸如机器感知系统、计算机视觉系统、深度学习系统等学习方法，该方法通过使用先前采集的道路图像信息和先前采集的道路目标信息来起作用，其中所述训练在感知系统被用于实况交通环境之前导致感知系统的变化。所述应用包括：在所述感知系统未在实况交通环境中操作的情况下，测试所述感知系统以评估所述感知系统的性能，其中，所述测试导致所述性能被评估为可接受或不可接受。所述一个或多个第一对象与所述一个或多个第二对象相同。所述相机矩阵包括外部矩阵参数和固有矩阵参数。所述固有矩阵参数包括像素坐标和相机坐标之间的一个或多个关系。所述外部矩阵参数包括关于所述相机的位置和取向的信息。所述相机边界指示符和投影边界指示符是二维的。所述关联是使用交并比(IOU)技术来执行的。所述车辆控制信号包括车辆转向控制输出、车辆油门控制输出和车辆制动控制输出中的一个或多个。

在附图、具体实施方式和权利要求中更详细地描述了所公开的技术的以上和其他方面和特征。

附图说明

图1是实施所公开的主题的示例性系统的示意图；

图2是根据一些实施例的流程图的示例；

图3A描绘了根据一些实施例的相机图像以及在感兴趣对象周围生成的边界框的示例；

图3B描绘了根据一些实施例的LIDAR图像以及在感兴趣对象周围生成的边界框的示例；

图4是根据一些实施例的流程图的另一示例；以及

图5描绘了根据一些实施例的硬件平台的示例。

具体实施方式