[发明专利]用于二维图像数据的三维对象定边界的方法和装置

说明书

提供了用于2D图像数据的3D对象定边界的方法和装置，以用于装备有辅助驾驶的车辆。在各个实施例中，一种装置包括：摄像机，其可操作以捕获视场的二维图像；激光雷达，其可操作以生成视场的点云；处理器，其可操作以响应于点云生成视场的三维表示，以检测三维表示中的对象，以响应于该对象生成三维边界框，以将三维边界框投影到二维图像上以生成标记的二维图像；以及车辆控制器，以响应于标记的二维图像来控制车辆。

技术领域

本公开总体上涉及配备有高级驾驶员辅助系统(ADAS)的车辆上的对象检测系统。更具体地，本公开的各方面涉及用于为自动驾驶任务检测和分类图像内的对象的系统、方法和设备。

背景技术

自动驾驶车辆是能够在很少或没有用户输入的情况下感知其环境并进行导航的车辆。自动驾驶车辆使用诸如雷达、激光雷达、图像传感器等之类的传感设备来感知其环境。自动驾驶车辆系统还使用来自全球定位系统(GPS)技术、导航系统、车辆间通信、车辆-基础设施间技术和/或线控驾驶系统的信息来导航车辆。

车辆自动化已被分类为从零(对应于完全人控制的无自动化)到五(对应于无人为控制的全自动)的数字级别。各种自动驾驶员辅助系统，例如巡航控制、自适应巡航控制和停车辅助系统，对应较低的自动化级别，而真正的“无人驾驶”车辆对应较高的自动化级别。

某些自动驾驶车辆可能包括使用传感器数据对对象进行分类的系统。这些系统可以识别和分类周围环境中的对象，包括位于车辆行驶路径中的对象。在这些系统中，搜索从安装在车辆上的摄像机获得的整个图像用于需要分类的关注对象。这种用于对象分类的方法在计算上是密集的且昂贵的，这使其缓慢且非常耗时并且遭受对象检测问题的困扰。基于人为控制的成像对象检测模型需要大量的人为标记数据进行训练，这可能需要大量劳力并且容易出错。

因此，期望提供可以加速对图像内的数据标记、训练和对象进行分类的过程的系统和方法。此外，结合附图以及前述技术领域和背景技术，根据随后的详细描述，本发明的其他期望特征和特性将变得显而易见。

发明内容

本文公开了用于提供车辆感测和控制系统的对象检测方法和系统以及相关的控制逻辑，制造此类系统的方法和用于操作此类系统的方法，以及配备有车载传感器和控制系统的机动车辆。此外，本文公开了用于通过使用来自点云数据的3D信息来在图像中生成准确的3D对象标记的方法和途径。

根据各个实施例，提供了一种装置，包括摄像机，其可操作以捕获视场的二维图像；激光雷达，其可操作以生成视场的点云；处理器，其可操作以响应于点云生成视场的三维表示，以检测三维表示内的对象，以响应于对象生成三维边界框(bounding box)，以将三维边界框投影到二维图像上以生成标记的二维图像；以及车辆控制器，以响应于标记的二维图像来控制车辆。

根据另一方面，视场的三维表示是三维体积的体素化表示。

根据本发明的另一方面，三维边界框表示对象的质心、长度、宽度和高度。

根据本发明的另一方面，所述处理器还可操作以响应于边缘检测而将所述图像对准所述点云。

根据另一方面，处理器还可操作以校准并共同配准(co-register)点云中的点和图像中的像素。

根据另一方面，车辆控制器可操作以执行自适应巡航控制算法。

根据另一方面，标记的二维图像用于确认基于图像的对象检测方法。

根据另一方面，响应于卷积神经网络来检测对象。

根据另一方面，一种方法包括：经由摄像机接收二维图像；经由激光雷达接收点云；响应于所述点云而用处理器生成三维空间；用处理器检测三维空间内的对象；响应于该对象用处理器生成边界框；用处理器将边界框投影到二维图像中以生成标记的二维图像；以及响应于标记的二维图像，经由车辆控制器控制车辆。