[发明专利]一种基于多模态注意力驱动的三维点云特征提取方法

权利要求书

1.一种基于多模态注意力驱动的三维点云特征提取方法，其特征在于，包括如下步骤：

(1)收集待测物体3D空间中对应的2D图像数据和3D点云数据，在3D点云数据中标注待测物体的3D包围盒以及待测物体的类别；

(2)构建特征提取网络，所述特征提取网络包括：2D图像特征提取模块、特征转换模块、注意力模块、3D点云特征提取模块和3D物体检测任务模块，所述2D图像特征提取模块的输出端与特征转换模块的输入端连接，所述特征转换模块的输出端、3D点云特征提取模块的输出端均与注意力模块的输入端连接，所述注意力模块的输出端、3D点云特征提取模块的输出端均与3D物体检测任务模块的输入端连接；所述3D点云特征提取模块用于提取3D点云的深度特征，所述2D图像特征提取模块用于提取2D图像的深度特征，所述特征转换模块用于将2D图像的深度特征的形状变换为与3D点云特征形状相同的大小，所述注意力模块用于生成注意力权重矩阵，所述3D物体检测任务模块用于输出待测物体的3D包围盒与待测物体的类别信息；

(3)将步骤(1)收集的2D图像数据输入2D图像特征提取模块中，将3D点云数据输入3D点云特征提取模块中，对特征提取网络进行训练，直至VoteNet损失函数收敛，完成对特征提取网络的训练；

(4)将收集的待测物体3D空间中对应的2D图像数据和3D点云数据输入到训练好的特征提取网络中，输出待测物体的3D包围盒与待测物体的类别信息；

所述3D点云特征提取模块由四个点集抽象层SA串联组成，将3D点云数据输入到第一个点集抽象层SA中，四个点集抽象层SA提取分辨率递减的点云特征；

所述2D图像特征提取模块由一个2D卷积层和四个2D卷积残差模块依次连接构成，将2D图像数据输入2D卷积层中，输出2D深度图像特征，将2D深度图像特征输入到第一个2D卷积残差模块后，四个2D卷积残差模块依次输出分辨率递减的深度图像特征；

所述特征转换模块由四个特征转换单元组成，每个特征转换单元分别连接一个2D卷积残差模块，将分辨率递减的深度图像特征输入对应的特征转换单元，经形状变化函数，输出与3维点云特征形状相同的大小的图像特征；所述特征转换单元由两层卷积层和一层全连接层串联组成；

所述注意力模块用于生成注意力权重矩阵的过程具体为：所述注意力模块由四个注意力单元组成，每个注意力单元均使用两层的多层感知机MLP处理深度图像特征Q，得到更新图像特征，使用两层的多层感知机MLP处理点云特征V，得到更新点云特征，将所述更新图像特征与更新点云特征进行点乘，经softmax矩阵处理后，再除以调节项d，得到注意力权重矩阵F：

F＝softmax(MLP(Q)·MLP(V))/d

其中，MLP()表示两层的多层感知机MLP的处理过程；

将每个注意力单元的注意力权重矩阵F与对应点集抽象层SA输出的点云特征进行点对点乘法操作，得到加强点云特征，将加强点云特征输入3D物体检测任务模块中，输出待测物体的3D包围盒与待测物体的类别信息。

2.根据权利要求1所述基于多模态注意力驱动的三维点云特征提取方法，其特征在于，所述VoteNet损失函数L_VoteN为：

L_Vot＝L_Vote-reg+λ₁L_obj-cls+λ₂L_box+λ₃L_sem

其中，L_Vote-reg为投票损失函数，M_pos为待测物体前景点云数据总和，Δx_i为投票偏移量，为投票偏移量真值，Γ[s_i on object]表示只对点云物体表面的点进行投票运算，λ₁表示物体分类损失权值，L_obj-cls为物体分类损失函数，λ₂表示3D包围盒的回归损失权值，L_box为3D包围盒的回归损失函数，λ₃表示语义类别损失权值，L_sem-c为语义类别损失函数。