[发明专利]一种基于多模态注意力驱动的三维点云特征提取方法

说明书

本发明公开了一种基于多模态注意力驱动的三维点云特征提取方法，包括：收集待测物体3D空间中对应的2D图像数据和3D点云数据，在3D点云数据中标注待测物体的3D包围盒以及待测物体的类别；构建特征提取网络；将2D图像数据和3D点云数据输入特征提取网络中，进行训练，直至VoteNet损失函数收敛；将收集的待测物体3D空间中对应的2D图像数据和3D点云数据输入到训练好的特征提取网络中，输出待测物体的3D包围盒与待测物体的类别信息。本发明3D点云特征提取方法使用注意力权重矩阵建立2D图像数据与3D点云数据之间的联系，使得不同模态的数据可以作用于提取3D点云特征，进一步提升3D点云特征提取效果。

技术领域

本发明涉及3D点云数据处理技术领域，具体而言，涉及一种基于多模态注意力驱动的三维点云特征提取方法。

背景技术

随着3D扫描设备的迅速发展，3D点云数据在计算机视觉与计算机图形学的各个领域中，得到广泛应用。但在数据获取过程中，由于遮挡、光照等原因，获得的3D点云数据往往存在缺陷，用此类数据进行视觉算法的计算，得到的结果往往存在精度低、效果差的问题。为此，有许多研究工作，开始考虑，将文本、2D图像等多模态信息融入3D视觉算法中，进一步提升基于点云的3D视觉算法的效果。

目前，考虑将2D图像作为一种辅助信息，加强基于点云的3D视觉算法的效果是目前的主流做法。2D图像是一种结构化的、网格化的数据。不同于3D点云离散化的数据形式，2D图像可以采用2D卷积神经网络，很方便地层次化提取特征信息。而3D点云的特征信息特区，目前主要采用PointNet、PointNet++等基于对称函数的方法提取特征。两者之间提取出来的特征难以定义对应关系，无法对两者的特征信息进行有效的融合，用于提升算法的效果。

目前，用于融合2D图像特征与3D点云特征的主流做法有两种。第一种是，将2D图像的深度特征简单地压缩为一条向量，然后将向量复制为与3D点云特征相同大小的矩阵，再直接拼接到点云特征之后，这种方法操作简单，但是无法建立起点云特征与图像特征直接的联系，对于算法的改进效果不明显。第二种是，建立2D图像特征与3D点云特征之间的关系，再依据这种关系，实现特征的融合，这种方法的缺点在于，2D图像特征与3D点云特征之间的关系是难以确定的，通常需要大量精巧的操作，因此也限制了这种方式的推广应用。针对2D图像特征与3D点云特征的融合，并且难以进一步提升基于点云的3D视觉算法效果的问题，目前尚未提出简单有效的解决方案。

发明内容

针对现有技术中存在的问题，本发明提供了一种基于多模态注意力驱动的三维点云特征提取方法。

为实现上述技术目的，本发明采用如下技术方案：一种基于多模态注意力驱动的三维点云特征提取方法，包括如下步骤：

(1)收集待测物体3D空间中对应的2D图像数据和3D点云数据，在3D点云数据中标注待测物体的3D包围盒以及待测物体的类别；

(2)构建特征提取网络，所述特征提取网络包括：2D图像特征提取模块、特征转换模块、注意力模块、3D点云特征提取模块和3D物体检测任务模块，所述2D图像特征提取模块的输出端与特征转换模块的输入端连接，所述特征转换模块的输出端、3D点云特征提取模块的输出端均与注意力模块的输入端连接，所述注意力模块的输出端、3D点云特征提取模块的输出端均与3D物体检测任务模块的输入端连接；所述3D点云特征提取模块用于提取3D点云的深度特征，所述2D图像特征提取模块用于提取2D图像的深度特征，所述特征转换模块用于将2D图像的深度特征的形状变换为与3D点云特征形状相同的大小，所述注意力模块用于生成注意力权重矩阵，所述3D物体检测任务模块用于输出待测物体的3D包围盒与待测物体的类别信息；

(3)将步骤(1)收集的2D图像数据输入2D图像特征提取模块中，将3D点云数据输入3D点云特征提取模块中，对特征提取网络进行训练，直至VoteNet损失函数收敛，完成对特征提取网络的训练；