[发明专利]激光雷达稀疏深度图的处理方法、装置、设备及介质

说明书

本申请的实施方式公开了一种激光雷达稀疏深度图的处理方法、神经网络的训练方法、车辆智能控制方法、避障导航方法、装置、电子设备、计算机可读存储介质及计算机程序，其中的激光雷达稀疏深度图的处理方法包括：向神经网络输入激光雷达稀疏深度图；由所述神经网络获取所述深度图的至少两个不同尺度的特征图、针对所述至少两个不同尺度的特征图分别进行有效点特征融合处理、并根据所述有效点特征融合处理的结果获得处理后的深度图，所述处理后的深度图中有效点的数量大于所述激光雷达稀疏深度图中有效点的数量。

技术领域

本申请涉及计算机视觉技术，尤其是涉及一种激光雷达稀疏深度图的处理方法、激光雷达稀疏深度图的处理装置、车辆智能控制方法、车辆智能控制装置、避障导航方法、避障导航装置、神经网络的训练方法、神经网络的训练装置、电子设备、计算机可读存储介质以及计算机程序。

背景技术

激光雷达通过扫描可以获取到周围场景中的物体的深度信息，这些深度信息可以形成激光雷达投射图。该激光雷达投射图中的点的取值通常表示该点的深度值。激光雷达投射图也可以称为激光雷达深度图。

激光雷达投射图可以用于辅助完成语义分割以及目标检测等任务，也可以用于智能驾驶中对车辆周围的场景分析以及辅助完成车辆控制决策等任务。

然而，由于激光雷达的硬件条件限制等因素，激光雷达投射图通常包含有部分无效点，即深度值无效的点。如何填补激光雷达投射图中的无效点的深度值，获得较为精确的激光雷达深度图，是一个值得关注的技术问题。

发明内容

本申请实施方式提供一种激光雷达稀疏深度图的处理、车辆智能控制、避障导航以及训练神经网络的技术方案。

根据本申请实施方式其中一方面，提供一种激光雷达稀疏深度图的处理方法，所述方法包括：向神经网络输入激光雷达稀疏深度图；由所述神经网络获取所述深度图的至少两个不同尺度的特征图、针对所述至少两个不同尺度的特征图分别进行有效点特征融合处理、并根据所述有效点特征融合处理的结果获得处理后的深度图，所述处理后的深度图中有效点的数量大于所述激光雷达稀疏深度图中有效点的数量。

在本申请一实施方式中，所述向神经网络输入激光雷达稀疏深度图包括：向神经网络输入激光雷达稀疏深度图及所述激光雷达稀疏深度图的蒙板；其中，所述激光雷达稀疏深度图的蒙板用于指示所述激光雷达稀疏深度图中的有效点，所述方法还包括：根据所述激光雷达稀疏深度图的蒙板确定所述至少两个不同尺度的特征图的蒙板；所述针对所述至少两个不同尺度的特征图分别进行有效点特征融合处理包括：根据所述至少两个不同尺度的特征图的蒙板，针对所述至少两个不同尺度的特征图分别进行有效点特征融合处理。

在本申请又一实施方式中，由所述神经网络获取所述深度图的至少两个不同尺度的特征图，包括：由所述神经网络对所述激光雷达稀疏深度图进行稀疏卷积处理，以获得所述激光雷达稀疏深度图的特征图；对所述深度图的特征图进行尺度变换处理，以获得至少两个不同尺度的特征图；所述至少两个不同尺度的特征图包括：尺度变换处理前的特征图和至少一个尺度变换处理后的特征图。

在本申请再一实施方式中，所述根据所述激光雷达稀疏深度图的蒙板确定所述至少两个不同尺度的特征图的蒙板包括：由所述神经网络对所述激光雷达稀疏深度图的蒙板进行稀疏卷积处理，以获得所述激光雷达稀疏深度图的特征图的蒙板，对所述蒙板进行尺度变换处理，以获得各特征图的蒙板。

在本申请再一实施方式中，所述针对所述至少两个不同尺度的特征图分别进行有效点特征融合处理，包括：所述神经网络执行至少一级有效点特征融合处理；在至少一级有效点融合处理中，所述神经网络对多路不同尺度的特征图分别进行有效点特征融合处理；在所述神经网络执行多级有效点特征融合处理的情况下，前一级融合处理的输出用于为后一级融合处理提供输入。

在本申请再一实施方式中，所述神经网络对前一级融合处理后输出的特征图进行尺度变换处理，尺度变换处理后的特征图用于提供给后一级的融合处理。