[发明专利]将合成激光雷达数据迁移至真实域用于自动驾驶汽车训练

说明书

本申请披露了将合成激光雷达数据关联至真实域来训练自动驾驶汽车在环境中运行的方法和系统。为此，该系统先获取合成激光雷达数据的数据集，将合成激光雷达数据迁移至二维表达，然后运用所述二维表达训练真实环境模型，最后使用经训练的所述真实环境模型训练自动驾驶汽车。

技术领域

本申请涉及自动驾驶汽车训练领域，尤其涉及一种将合成激光雷达数据关联至真实域，以训练自动驾驶汽车如何在环境中运行的方法、系统及计算机可读介质。

背景技术

自动驾驶汽车需要大量行驶环境相关数据，以探测和识别环境中的物体，并预测其他物体(如行人和其他车辆)的行动。用于收集此类数据的一种系统为激光雷达(LiDAR)系统。激光雷达系统向物体发射激光，然后通过各种探测器测量物体反射光。该激光雷达系统分析反射光的特征，并形成三维(3D)点云数据，描绘环境中物体的三维形状和环境特征。

训练自动驾驶汽车还需三维数据集，以构建在环境中行动和反应的知识库。但是，在所有区域收集激光雷达数据费时且昂贵。而且在任何环境中，物体位置都会不断变化。

本申请描述的实施例旨在解决上述问题和/或其他问题。

发明内容

本申请披露了相关方法，将合成激光雷达数据关联至真实域，以训练自动驾驶汽车如何在环境中运行。为此，该系统先获取合成激光雷达数据的数据集，将合成激光雷达数据迁移至二维表达，然后运用所述二维表达训练真实环境模型，最后使用经训练的所述真实环境模型训练自动驾驶汽车。

在一些实施例中，获取合成激光雷达数据的数据集可包括，在仿真应用的模拟环境中操作虚拟汽车，并通过所述仿真应用生成所述合成激光雷达数据的数据集。使用仿真应用生成所述合成激光雷达数据的数据集可包括，在模拟环境中操作虚拟汽车时：(1)获取仿真生成的深度图像；(2)从仿真生成的多个图像帧当中提取样本；(3)将所提取的样本关联至深度图像，以将所提取的每一样本逼近一个或多个深度图像中的像素。

在一些实施例中，将合成激光雷达数据迁移至二维表达可包括，将合成激光雷达数据迁移至鸟瞰表达。在其他实施例中，将合成激光雷达数据迁移至二维表达则可包括生成二维正视图像。

在一些实施例中，所述系统可在合成激光雷达数据的不同帧内生成地面实况注释，以识别合成激光雷达数据中的一个或多个物体。此措施适用于三维点云或所述合成激光雷达数据迁移至二维表达生成的二维图像。

在一些实施例中，所述系统可接收在真实环境中捕获的图像。在此情况下，将所述合成激光雷达数据迁移至所述二维表达可包括：(1)从所述激光雷达数据生成二维正视图像；(2)将所述合成激光雷达数据中的一个或多个物体映射至所述捕获图像中的一个或多个物体上。所述系统也可在合成激光雷达数据的不同帧内生成地面实况注释，以识别合成激光雷达数据中的一个或多个物体；在此情况下，至少部分所述正视图像可包括识别一个或多个物体的一个或多个地面实况注释。可选地，使用二维表达训练真实环境模型可包括，使用在真实环境中捕获的图像、来自激光雷达数据的二维正视图像以及映射结果来训练真实环境模型。

附图说明

图1为将合成激光雷达数据迁移至真实域的方法流程图。

图2为现有技术中可能存在的自动驾驶汽车操作仿真系统的示例图像。

图3展示了如何为仿真系统的一帧数据添加二维边界框，以识别该帧内的物体并建立地面实况。

图4展示了如何为仿真系统的一帧数据添加三维边界框。

图5为可用于收集现实激光雷达数据的激光雷达系统组成部分示例。

图6为计算机系统组成部分示例，该系统可用于生成合成激光雷达数据，以及处理上述仿真和现实激光雷达数据。

具体实施方式