[发明专利]三维目标检测及神经网络的训练方法、装置及设备

说明书

公开了一种三维目标检测及神经网络的训练方法、装置及设备。该方法包括：利用神经网络对样本三维雷达点云进行体素化，得到体素化点云；所述样本三维雷达点云中的三维目标预先进行了三维目标包围盒的标注，以得到三维目标包围盒的标注信息；所述神经网络根据所述体素化点云，确定所述体素化点云的特征图，并根据所述特征图获得预测语义掩模；根据所述预测语义掩模与真实语义掩模之间的差异，调整所述神经网络的网络参数；其中，所述真实语义掩模根据所述体素化点云和所述三维目标包围盒的标注信息确定。

技术领域

本公开涉及计算机视觉技术，具体涉及一种三维目标检测及神经网络的训练方法、装置及设备。

背景技术

雷达是三维目标检测中重要的传感器之一，其能够产生稀疏的雷达点云，从而能够很好地捕捉周围的场景结构。基于雷达点云的三维目标检测在实际场景应用，例如自动驾驶、机器人导航过程中，具有十分重要的应用价值。

发明内容

本公开实施例提供一种三维目标检测和神经网络的训练方案。

第一方面，提供一种经网络的训练方法，所述方法包括：利用神经网络对样本三维雷达点云进行体素化，得到体素化点云；所述样本三维雷达点云中的三维目标预先进行了三维目标包围盒的标注，以得到三维目标包围盒的标注信息；所述神经网络根据所述体素化点云，确定所述体素化点云的特征图，并根据所述特征图获得预测语义掩模；根据所述预测语义掩模与真实语义掩模之间的差异，调整所述神经网络的网络参数；其中，所述真实语义掩模根据所述体素化点云和所述三维目标包围盒的标注信息确定。

结合本公开提供的任一实施方式，所述神经网络根据所述特征图获得预测语义掩模之后，所述方法还包括：所述神经网络根据所述预测语义掩模和所述体素化点云的特征图，获得所述样本三维雷达点云中的三维目标边界框的预测信息；根据所述预测语义掩模与真实语义掩模之间的差异，调整所述神经网络的网络参数，包括：根据所述三维目标边界框的预测信息和所述三维目标包围盒的标注信息之间的差异，以及所述预测语义掩模与真实语义掩模之间的差异，调整所述神经网络的网络参数。

结合本公开提供的任一实施方式，所述神经网络根据所述预测语义掩模和所述体素化点云的特征图，获得所述样本三维雷达点云中的三维目标边界框的预测信息，包括：所述神经网络将所述预测语义掩模与所述体素化点云的特征图融合，获得融合后的特征图；所述神经网络根据所述融合后的特征图获得所述样本三维雷达点云中的三维目标边界框的预测信息。

结合本公开提供的任一实施方式，利用神经网络对样本三维雷达点云进行体素化，得到体素化点云，包括：利用神经网络将所述样本三维雷达点云划分为等间距的体素；将各个体素内的雷达点云的平均参数作为所述体素的参数，获得体素化点云。

结合本公开提供的任一实施方式，述体素化点云的特征图包括二维鸟瞰体素特征图；所述神经网络根据所述体素化点云，确定所述体素化点云的特征图，包括：利用所述神经网络对所述体素化点云进行卷积处理，获得三维鸟瞰体素特征图；利用所述神经网络将所述三维鸟瞰体素特征图转换为二维鸟瞰体素特征图。

结合本公开提供的任一实施方式，所述神经网络将所述预测语义掩模与所述体素化点云的特征图融合，获得融合后的特征图，包括：所述神经网络将所述预测语义掩模的概率加1的结果作为权重，与所述特征图相乘，获得融合后的特征图。

结合本公开提供的任一实施方式，所述神经网络根据所述融合后的特征图获得所述样本三维雷达点云中的三维目标边界框的预测信息包括：利用所述神经网络的不同分支对所述融合后的特征图的不同区域范围进行三维目标检测，将各个分支输出的检测信息进行融合，输出三维目标边界框的预测信息，其中，所述各个分支具有不同大小的卷积核以及不同的扩展率。