[发明专利]基于图像与点云融合的多模态三维目标检测方法及装置

摘要

本申请涉及立体视觉目标检测技术领域，特别涉及一种基于图像与点云融合的多模态三维目标检测方法及装置，其中，方法包括：利用图像卷积神经网络提取至少一个图像特征，并基于至少一个图像特征预测图像所含目标；根据传感器标定关系确定像素和点云投影关系，并基于像素和点云投影关系将像素特征融合至点云数据；将点云空间划分为柱体，并使用柱体特征网络编码柱体内点云，根据融合后的点云数据生成伪图像特征；将柱体对应的图像的结构化特征合并至伪图像特征；根据伪图像特征利用单步目标检测网络生成三维候选框，得到目标检测结果。本申请实施例可以基于图像和点云数据融合实现三维目标检测的目的，使用图像数据特征增强了从点云场景中执行目标检测的性能，有效保证检测的准确度和可靠性。