[发明专利]面向自动驾驶的多传感器深度融合3D目标检测方法

权利要求书

1.一种面向自动驾驶的多传感器深度融合3D目标检测方法，其特征在于，包括：

通过训练阶段优化得到的深度估计模型对当前双目图像进行估计，得到深度估计结果，再转换为3D空间中的伪点云数据；

伪点云数据和点云数据通过体素化方法分别得到体素化特征网格，通过稀疏卷积网络之后得到下采样后的稀疏特征，通过将3D的稀疏特征在z轴方向拍平并拼接，得到2D的鸟瞰图特征；

将两类2D的鸟瞰图特征作为输入，进入堆叠可形变卷积校准模块；通过堆叠可形变卷积校准模块，将点云数据的鸟瞰图特征和伪点云数据的鸟瞰图特征在特征通道维度拼接，进入卷积层产生2D偏移量，对伪点云数据的鸟瞰图特征以该2D偏移量作为指导提取点云指导的特征，即从伪点云数据的鸟瞰图特征中提取对齐后的特征，最后通过直接拼接的方式融合对齐后的特征与点云数据的鸟瞰图特征，结合融合特征实现目标检测；

训练阶段：通过场景关联损失函数预训练的深度估计网络得到当前双目图像的深度估计结果；同时，使用预训练的语义分割模型对当前双目图像进行处理，得到语义分割结果；利用语义分割结果与所述深度估计结果结合，得到前景物体的中心深度分布，再通过激光雷达采集的点云数据中前景物体的3D包围盒对所述深度估计结果进行边缘修正，并通过相机矩阵和2D-3D无损信息转化技术转换为3D空间中的伪点云数据；

伪点云数据和点云数据通过体素化方法分别得到体素化特征网格，通过稀疏卷积网络之后得到下采样后的稀疏特征，通过将3D的稀疏特征在z轴方向拍平并拼接，得到2D的鸟瞰图特征；将两类2D的鸟瞰图特征作为输入，进入堆叠可形变卷积校准模块；通过堆叠可形变卷积校准模块，将点云数据的鸟瞰图特征和伪点云数据的鸟瞰图特征在特征通道维度拼接，进入卷积层产生2D偏移量，对伪点云数据的鸟瞰图特征以该2D偏移量作为指导提取点云指导的特征，即对齐后的特征，最后通过直接拼接的方式进行特征融合，结合融合特征实现目标检测；其中，对于融合特征，以及对齐后的特征，通过分别设置的监督分支和相应真值进行比较产生监督信息回传网络进行训练，并按照实际效果设定权重参数；

所述边缘修正的步骤包括：根据数据集的3D标注，得到点云数据中的前景物体的3D包围盒；将3D包围盒中心的X轴坐标投影到2D空间，根据3D包围盒的3D空间距离、深度估计结果，以及2D空间中的前景掩码，掩码中的前景点和背景点；之后，设定一个阈值B，剔除前景掩码中，所有3D包围盒中心X坐标和深度估计结果中X坐标距离大于阈值B的点；

训练阶段，深度估计网络还输出深度估计结果各深度的不确定度；将不确定度s作为一个特征通道添加在伪点云上，不确定度在体素化网络中被处理，将体现在体素网格特征中。

2.根据权利要求1所述的一种面向自动驾驶的多传感器深度融合3D目标检测方法，其特征在于，该方法还包括：

将点云数据的体素化特征网格，采用体素转化为点技术变换为三维点云形式，再与融合特征进行特征聚合得到3D结果，最终通过ROI Head获得更为细化的目标检测结果。

3.根据权利要求1所述的一种面向自动驾驶的多传感器深度融合3D目标检测方法，其特征在于，训练阶段，利用伪点云数据与点云数据进行数据增强：将伪点云数据与点云数据，通过点云数据中前景物体的3D包围盒截取其中的点云和伪点云并保存入数据库，从而扩充了训练阶段的数据。