[发明专利]根据二维图像和点云数据生成三维边界框

说明书

根据二维图像和点云确定三维边界框。可以传递与图像相关联的特征向量和与点云相关联的特征向量通过神经网络，以确定三维边界框的参数。还可以确定和考虑与点云中的每个点相关联的特征向量，以在逐点基础上生成三维边界框的估计。

要求优先权

本PCT国际申请要求于2017年10月30日递交的美国专利申请号15/797,573、以及于2017年9月22日递交的美国临时申请号62/562,193的优先权的权益，该两个专利申请的全部内容通过引用并入本文中。

背景技术

多种应用需要环境中存在的三维对象的信息。例如，各种自主系统(例如，无人驾驶车辆和无人机)利用对象的三维数据来避免碰撞和避障。为了有效地在三维环境中导航，这样的自主系统需要有关障碍物的信息，例如包括有关障碍物的大小和定位的信息。此外，这些系统可能需要估计此类对象与环境的交互方式。三维对象的一种这样的表示形式就是三维边界框。三维边界框可以是由八个角定义的三维对象的简单表示，并且三维对象具有位置、方位、长度、宽度和高度。

附图简单说明

图1示出了环境、与该环境相关联的图像数据和点云数据、以及该环境中围绕对象的三维边界框的示例；

图2是示例性过程的图形表示，二维图像和点云按照该过程通过神经网络，以确定三维边界框的参数；

图3是另一示例性过程的图形表示，二维图像和点云按照该过程通过神经网络，以确定三维边界框的参数；

图4描绘了表示用于根据二维图像和点云数据确定三维边界框的一个或多个过程的流程图；

图5描绘了表示用于根据二维图像和点云数据确定三维边界框的一个或多个附加过程的流程图；以及

图6描绘了可用于根据二维图像和点云数据确定三维边界框的示例性计算机化系统。

详细的说明

以下详细描述针对用于估计表示环境中的对象的三维边界框的技术。存在各种需要环境中存在的对象的空间信息的应用。举个简单的例子，许多自主系统(例如，半自主和全自主驾驶汽车、自主无人机等)需要对象在其环境中的位置、方位和维度，以便执行跟踪、导航、避免碰撞等。

自主驾驶车辆系统可包括用于检测、跟踪和识别对象和/或对象属性的不同类型传感器的阵列。例如，传感器(例如，LIDAR和RADAR)、超声换能器、深度相机等可以提供关于环境中的对象的三维信息，而传感器(例如，常规相机)可以提供有关环境的二维信息。例如，LIDAR系统可以具有光发射器和光传感器，其中，光发射器包括一个或多个激光器，这些激光器将高度聚焦的光导向对象或表面，该对象或表面将光反射回到光传感器。LIDAR系统的测量可以表示为三维LIDAR数据，其具有对应于由LIDAR系统捕获的位置或距离的坐标(例如，笛卡尔坐标、极坐标等)。例如，LIDAR数据可以包括点云数据，该点云数据包括环境中的多个点。在某些实例中，LIDAR传感器可以在很短的时间内生成大量的距离测量值(例如，每0.1秒1000-100000个距离测量值)。类似地，已知RADAR系统会生成有关环境中3D对象或特征的点云数据。相反，图像捕获设备可以提供关于环境的2D图像数据，例如RGB图像数据、灰度图像数据或其他。

在本公开的实施方式中，例如来自LIDAR系统或RADAR系统的点云数据、和2D图像数据可用于在自主驾驶车辆的环境中创建对象的三维表示。三维表示的一个示例是三维边界框。三维边界框可以是包围对象的最小体积的长方体。三维边界框提供有关其所包括的对象的空间定位、方位以及大小的信息。例如，自主系统可以将该信息用于跟踪、导航和避免碰撞。