[发明专利]基于自适应与多级特征降维的点云3D检测方法与模型

说明书

本发明公开了基于自适应与多级特征降维的点云3D检测方法与模型，该检测方法包括：获取实时点云数据帧并进行点云体素化，得到初始体素特征及其体素坐标；对所述初始体素特征进行稀疏化，得到稀疏体素特征；对所述稀疏体素特征进行自适应动态特征降维，得到初始BEV特征，并对所述初始BEV特征进行多尺度BEV特征提取，获得包含语义特征的多尺度BEV特征；对所述稀疏体素特征进行多尺度体素特征提取，获得包含几何特征的多尺度体素特征，并对每个尺度上的体素特征进行降维，然后与对应尺度上的BEV特征进行融合；利用最后一层融合的BEV特征进行3D检测，估计目标物体在BEV空间的位置。

技术领域

本发明涉及自动驾驶物体感知领域，具体涉及一种基于自适应与多级特征降维的点云3D检测方法与模型。

背景技术

自动驾驶汽车是一种依靠车载传感器对环境进行感知并进行决策控制的复杂无人系统。为实现自动驾驶的决策与控制，需要首先使用传感器(通常包括激光雷达与相机)对周围环境进行感知，并对传感器数据进行处理得到周围环境的物体3D语义信息，再基于这些信息进行决策与控制。

基于激光雷达的3D物体检测是解决自动驾驶对环境感知问题的一种关键技术，其利用实时获取的点云数据帧，通过神经网络进行编解码得到物体的3D语义信息。为了实现高效性，目前在自动驾驶领域普遍使用基于grid-based的点云3D目标检测算法，其可以细分为pillar-based和voxel-based。这两种方法都需要将3D稀疏结构的点云通过降维操作得到2D形式的BEV(bird’s eye view，鸟瞰视角)特征图，再在2D的BEV特征图上进行3D目标检测。但目前的算法使用固定卷积核或池化操作来进行3D到2D的特征降维，没有考虑到这些特征降维操作会丢失许多3D几何信息。为了提高点云3D目标检测算法的精确率和召回率，亟待改进现有的特征降维操作以及特征提取骨干网络的结构来保留更多的3D几何信息。

发明内容

为了解决现有点云3D检测技术中BEV特征严重丢失物体几何信息的问题，本发明提出了基于自适应与多级特征降维的点云3D检测方法与模型，以使得特征提取过程中BEV特征能够自适应的保留物体的3D几何信息和多尺度几何信息。

为解决上述问题，本发明的一方面提出以下技术方案：

一种基于自适应与多级特征降维的点云3D检测方法，包括：获取实时点云数据帧并进行点云体素化，得到初始体素特征及其体素坐标；对所述初始体素特征进行稀疏化，得到稀疏体素特征；对所述稀疏体素特征进行自适应动态特征降维，得到初始BEV特征，并对所述初始BEV特征进行多尺度BEV特征提取，获得包含语义特征的多尺度BEV特征；对所述稀疏体素特征进行多尺度体素特征提取，获得包含几何特征的多尺度体素特征，并对每个尺度上的体素特征进行降维，然后与对应尺度上的BEV特征进行融合；利用最后一层融合的BEV特征进行3D检测，估计目标物体在BEV空间的位置。

进一步地，对所述稀疏体素特征进行自适应动态特征降维的步骤包括：对所述稀疏体素特征沿高度维度估计特征空间分布，该估计的特征空间分布用于表征沿高度维度物体特征的重要性权重；根据所述估计的特征空间分布对沿高度维度物体特征进行重加权，得到所述初始BEV特征。

进一步地，对所述稀疏体素特征沿高度维度估计特征空间分布的步骤包括：通过卷积核大小为3×3×3的3D子流型稀疏卷积估计体素特征重要性权重，其通道数为1；对所述体素特征重要性沿着高度维度进行归一化得到所述估计的特征空间分布。

进一步地，根据所述估计的特征空间分布对沿高度维度物体特征进行重加权的步骤包括：使用所述估计的特征空间分布对所述稀疏体素特征沿高度维度进行动态加权，得到所述初始BEV特征。

进一步地，对所述稀疏体素特征进行多尺度体素特征提取的步骤包括：构造用于提取几何特征的体素特征提取分支，将所述稀疏体素特征作为该体素特征提取分支的初始输入，进行多阶段体素特征提取，对应获得所述多尺度体素特征；其中，每阶段体素特征提取的输出结果作为下一阶段体素特征提取的输入。