[发明专利]多模态融合弱监督车辆目标检测方法及系统

说明书

本发明涉及一种多模态融合弱监督车辆目标检测方法及系统，方法包括获取3D点云数据及图像数据；基于3D点云数据获取3D预测框参数及其特征，同时获取2D点云地图及其特征；获取3D预测框的特征与图像的特征融合的第一阶段融合特征以及生成2D目标检测框，获取3D预测框的特征与2D点云地图的特征融合的第二阶段融合特征以及生成3D候选预测框；基于2D目标检测框和设定的图像与点云之间的监督置信度阈值对3D候选预测框进行过滤筛选，输出用于对场景中的目标物体进行检测的3D目标检测框。本发明在不依赖标签的情况下获取点云特征和图像特征，极大程度降低了3D目标检测对语义标签的依赖，并且显著提高了检测精度。

技术领域

本发明涉及目标检测技术领域，尤其是指一种多模态融合弱监督车辆目标检测方法及系统。

背景技术

场景理解中的一项关键任务是对三维对象进行检测，它已经成为自动驾驶等各种应用领域的热点研究问题,三维目标检测技术的目的是从输入的传感器数据中检测并定位被检测物体的三维边界框。现有的三维对象检测器大多是基于完全监督学习的，在缺少3D标签的场景应用中需要人工在非规则化的点云数据中标签大量的模态三维边界框，标签过程的时间成本极大地限制了三维物体检测技术的应用。

弱监督检测是一种能有效减少目标检测对训练标签依赖的方法，但现有的弱监督对象检测器主要用于二维物体检测，而不是三维检测。寻找实现3D对象检测的弱监督甚至无监督学习的方法，可以极大地降低检测器对培训标签的依赖，减少标签成本。因此，研究弱监督或半监督的三维物体检测器模型，从而适应缺少3D标签的场景，具有非常重要的现实意义。

另一方面，现有的目标检测方法大都使用视觉传感器，在室外环境下极易受光照，能见度等因素干扰，而且单靠视觉传感器获取深度信息精度也无法保证。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术存在的问题，提出一种多模态融合弱监督车辆目标检测方法及系统，在不依赖标签的情况下获取点云特征和图像特征，极大程度降低了3D目标检测对语义标签的依赖，并且显著提高了检测精度，使得目标检测的准确度和适用性得到了进一步的提高。

为解决上述技术问题，本发明提供一种多模态融合弱监督车辆目标检测方法，包括以下步骤：

获取场景中的3D激光点云数据以及图像数据；

基于所述3D激光点云数据获取3D预测框参数，对所述3D预测框参数进行网格池化特征提取，获得3D预测框的特征，同时基于所述3D激光点云数据获取2D点云地图，对所述2D点云地图进行特征提取，获得2D点云地图的特征；

将所述3D预测框的特征与基于所述图像数据获取的图像的特征进行融合，获得第一阶段融合特征,基于所述第一阶段融合特征生成2D目标检测框，同时将所述3D预测框的特征与2D点云地图的特征进行融合，获得第二阶段融合特征，基于所述第二阶段融合特征生成3D候选预测框；

基于所述2D目标检测框和设定的图像与点云之间的监督置信度阈值对所述3D候选预测框进行过滤筛选，输出用于对所述场景中的目标物体进行检测的3D目标检测框，其中，所述3D目标检测框为过滤筛选后的3D候选预测框。

在本发明的一个实施例中，场景中的所述3D激光点云数据通过激光雷达装置获取，场景中的所述图像数据通过RGB图像采集装置获取。

在本发明的一个实施例中，基于所述3D激光点云数据获取3D预测框参数的方法包括：

利用地面真值监督对所述3D激光点云数据预设范围锚点，将范围锚点内的3D激光点云数据通过PointNet网络进行特征学习，提取3D激光点云特征，并基于所述3D激光点云特征获取3D预测框参数。

在本发明的一个实施例中，对所述3D预测框参数进行网格池化特征提取，获得3D预测框的特征的方法包括：