[发明专利]多模态融合弱监督车辆目标检测方法及系统

权利要求书

1.一种多模态融合弱监督车辆目标检测方法，其特征在于，包括以下步骤：

获取场景中的3D激光点云数据以及图像数据；

基于所述3D激光点云数据获取3D预测框参数，对所述3D预测框参数进行网格池化特征提取，获得3D预测框的特征，同时基于所述3D激光点云数据获取2D点云地图，对所述2D点云地图进行特征提取，获得2D点云地图的特征，其中，基于所述3D激光点云数据获取3D预测框参数的方法包括利用地面真值监督对所述3D激光点云数据预设范围锚点，将范围锚点内的3D激光点云数据通过PointNet网络进行特征学习，提取3D激光点云特征，并基于所述3D激光点云特征获取3D预测框参数，3D激光点云数据在经过PointNet网络时，根据数据的x,y,z坐标和深度d的特征，设置特征点的维数和种子点的数目，以及种子点的特征范围半径r，经过多个特征提取层，生成少量具有局部提案的高质量的种子点，使用种子点作为3D预测框的中心点，并使用VoteNet网络对中心种子点进行投票，得到3D预测框的参数；基于所述3D激光点云数据获取2D点云地图的方法包括所述3D激光点云数据利用预设锚点投影生成基于同一锚点的2D点云地图，利用归一化点云密度进行投影的筛选条件，之后采用ResNet-50残差网络进行特征提取；

将所述3D预测框的特征与基于所述图像数据获取的图像的特征进行融合，获得第一阶段融合特征,基于所述第一阶段融合特征生成2D目标检测框，同时将所述3D预测框的特征与2D点云地图的特征进行融合，获得第二阶段融合特征，基于所述第二阶段融合特征生成3D候选预测框；

基于所述2D目标检测框和设定的图像与点云之间的监督置信度阈值对所述3D候选预测框进行过滤筛选，输出用于对所述场景中的目标物体进行检测的3D目标检测框，其中，所述3D目标检测框为过滤筛选后的3D候选预测框；

其中，将由图像数据经过多层特征提取最终生成2D目标检测框的整个过程看作是教师网络，而由3D激光点云数据经过特征提取、特征融合以及生成3D候选预测框的整个过程看作是学生网络，利用教师网络对学生网络进行监督，学生网络从教师网络学习知识并评估自身的目标检测网络，通过设定监督置信度阈值来评估学生网络与教师网络之间的信任度，当教师网络的置信度大于等于设定的阈值时，学生网络在教师网络的监督下最终输出用于对场景中的目标物体进行检测的3D目标检测框。

2.根据权利要求1所述的多模态融合弱监督车辆目标检测方法，其特征在于：场景中的所述3D激光点云数据通过激光雷达装置获取，场景中的所述图像数据通过RGB图像采集装置获取。

3.根据权利要求1所述的多模态融合弱监督车辆目标检测方法，其特征在于：对所述3D预测框参数进行网格池化特征提取，获得3D预测框的特征的方法包括：

利用PointNet网络对3D预测框参数进行学习，得到连续参数的3D预测框，之后删除重叠的3D预测框，获得3D预测框的特征。

4.根据权利要求1所述的多模态融合弱监督车辆目标检测方法，其特征在于：基于所述图像数据获取图像的特征的方法包括：

利用训练好的预训练模型基于所述图像数据获取图像的特征。

5.根据权利要求1所述的多模态融合弱监督车辆目标检测方法，其特征在于：基于所述第一阶段融合特征生成2D目标检测框的方法包括：

对所述第一阶段融合特征进行分类、回归与投影，生成2D目标检测框。

6.根据权利要求1所述的多模态融合弱监督车辆目标检测方法，其特征在于：基于所述第二阶段融合特征生成3D候选预测框包括：

将所述第二阶段融合特征输入至基于注意力机制的编码器与解码器中进行处理，获得3D候选预测框。