[发明专利]基于CNN和CRF模型生成高分辨率3-D点云

权利要求书

1.一种生成高分辨率三维点云的方法，所述方法包括：

接收由第一摄像机捕捉的第一图像，所述第一图像捕捉自动驾驶车辆的驾驶环境的一部分；

接收第二图像，所述第二图像表示由激光雷达装置产生的、与所述驾驶环境的一部分相对应的第一点云的第一深度图；

通过对所述第一图像应用卷积神经网络模型来确定第二深度图；以及

通过对所述第一图像、所述第二图像和所述第二深度图应用条件随机域模型来生成第三深度图，所述第三深度图比所述第一深度图具有更高的分辨率，其中，所述第三深度图表示用于感知所述自动驾驶车辆周围的所述驾驶环境的第二点云。

2.根据权利要求1所述的方法，还包括：

接收由第二摄像机捕捉的第三图像；以及

通过对所述第一图像和所述第三图像应用所述卷积神经网络模型来确定所述第二深度图。

3.根据权利要求1所述的方法，其中，所述第一图像包括圆柱形全景图像或球形全景图像。

4.根据权利要求3所述的方法，其中，所述圆柱形全景图像或所述球形全景图像是基于由多个摄像机装置捕捉的多个图像生成的。

5.根据权利要求3所述的方法，还包括：

通过将所述第二深度图投影到基于所述圆柱形全景图像或所述球形全景图像的3-D空间中来重构所述第二点云。

6.根据权利要求2所述的方法，还包括：

将所述第三图像映射到所述第一图像的图像平面上。

7.根据权利要求6所述的方法，其中，所述第三深度图是通过将一个或多个生成的深度图进行混合而生成，其中，所述第三深度图是全景图。

8.根据权利要求1所述的方法，其中，所述卷积神经网络模型包括：

多个收缩层，其中，每个收缩层均包括编码器以对相应的输入进行下采样；以及

多个扩张层，联接至所述多个收缩层，其中，每个扩张层均包括解码器以对相应的输入进行上采样。

9.根据权利要求8所述的方法，其中，所述多个收缩层的信息向前反馈给所述多个扩张层。

10.根据权利要求8所述的方法，其中，所述多个扩张层中的每个均包括预测层，以预测用于后续层的深度图。

11.一种存储有指令的非暂时性机器可读介质，所述指令在由处理器执行时致使所述处理器执行操作，所述操作包括：

接收由第一摄像机捕捉的第一图像，所述第一图像捕捉自动驾驶车辆的驾驶环境的一部分；

接收第二图像，所述第二图像表示由激光雷达装置产生的、与所述驾驶环境的一部分相对应的第一点云的第一深度图；

通过对所述第一图像应用卷积神经网络模型来确定第二深度图；以及

通过对所述第一图像、所述第二图像和所述第二深度图应用条件随机域模型来生成第三深度图，所述第三深度图比所述第一深度图具有更高的分辨率，其中，所述第三深度图表示用于感知所述自动驾驶车辆周围的所述驾驶环境的第二点云。

12.根据权利要求11所述的非暂时性机器可读介质，所述操作还包括：

接收由第二摄像机捕捉的第三图像；以及

通过对所述第一图像和所述第三图像应用所述卷积神经网络模型来确定所述第二深度图。

13.根据权利要求11所述的非暂时性机器可读介质，其中，所述第一图像包括圆柱形全景图像或球形全景图像。

14.根据权利要求13所述的非暂时性机器可读介质，其中，所述圆柱形全景图像或所述球形全景图像是基于由多个摄像机装置捕捉的多个图像生成的。