[发明专利]基于多模态融合的三维目标检测方法及系统

说明书

本发明公开了基于多模态融合的三维目标检测方法及系统，其中方法包括下列步骤：S1、获取相机采集的图像数据；S2、获取激光雷达采集的原始的点云数据，并对点云进行降噪预处理；S3、将图像和点云的数据分别输入到训练后的相应网络中，获得对应的图像特征和点云特征；S4、将二维图像的图像特征映射到三维的点云空间坐标系；S5、将所述点云特征与映射后的图像特征进行级联，将其输入到自适应表现力增强融合模块，进行重新校准，得到加权后的融合特征；S6、将加权后的融合特征输入到检测输出网络，对目标进行边界框的生成，进而完成三维目标检测。本发明有效的抑制了不重要的特征表现，可以提升后续检测输出模块的3D目标检测的精度。

技术领域

本发明属于自动驾驶环境感知技术领域，具体基于多模态融合的三维目标检测方法及系统。

背景技术

随着深度学习的快速发展，自动驾驶技术得到了巨大的推动力。作为自动驾驶感知技术的重要组成部分，三维目标检测为自动驾驶提供了基础条件，可为车辆路径规划和行为决策提供数据支持。自动驾驶需要对空间中的障碍物进行准确定位和检测，以避免复杂交通场景下的车辆事故。因此，如何通过不同的方式实现高精度、高效率的目标检测越来越受到研究人员的关注。多模态融合目标检测在复杂交通场景下表现良好，可以弥补不同信息的不足，实现各种传感器之间的信息互补，从而成为研究人员的研究热点。然而由于自动驾驶场景中会存在光照变化、目标遮挡等问题，现有的三维目标检测算法会受到很大干扰，因此会出现检测漏检、误检和检测精度低情况，而如何更好解决这些问题面临着很大的挑战。

发明内容

本发明的目的是提供基于多模态融合的三维目标检测方法，用于解决现有技术中由于自动驾驶场景中会存在光照变化、目标遮挡等问题，三维目标检测算法受到很大干扰，出现漏检、误检和检测精度低的技术问题。

所述的基于多模态融合的三维目标检测方法，包括下列步骤。

S1、获取相机采集的图像数据。

S2、获取激光雷达采集的原始的点云数据，并对点云进行降噪预处理。

S3、将图像和点云的数据分别输入到训练后的相应网络中，获得各自数据中目标的深度语义特征信息，即对应的图像特征和点云特征。

S4、将二维图像的图像特征映射到三维的点云空间坐标系。

S5、将所述点云特征与映射后的图像特征进行级联，将级联后的图像和点云特征输入到自适应表现力增强融合模块，对融合特征进行重新校准，将权重与原始对应通道相乘得到加权后的融合特征。

S6、将加权后的融合特征输入到检测输出网络，对目标进行边界框的生成，进而完成三维目标检测。

优选的，所述步骤S3包括：

S3.1、对被配置为点云的数据进行处理：使用PointNet网络作为点云特征提取的主干网络对输入的点云的数据进行特征提取。

S3.2、对被配置为图像的数据进行处理：使用MobileNetv2深度神经网络作为基础卷积层对输入的图像数据进行特征提取。

优选的，所述步骤S3.1具体包括：根据PointNet的直接坐标卷积法构造点云的输入特征层，并对原始数据坐标信息进行计算，得到输入特征图，再利用卷积神经网络完成对点云特征的提取。

所述步骤S3.2具体包括：模型使用已经训练好的MobileNetv2的前几层参数作为图像特征提取器的初始卷积核值，获得图像特征。