[发明专利]一种多模数据融合的三维目标检测方法

权利要求书

1.一种多模数据融合的三维目标检测方法，其特征在于，所述方法在获取到真实场景的图片和对应的点云数据后，首先使用特征提取器VFE将点云数据的体素特征转为高阶表示；之后，利用预训练的faster RCNN网络提取图片多层语义特征，然后根据投影关系，将点云投影到图片多层语义特征上，通过双线性插值分别获得点云对应的图片多层语义特征；然后，通过聚合体素邻域点云特征以弥补体素过程中丢失的特征信息；通道和体素双注意力机制增强有用特征，抑制无用特征；最后体素特征送入卷积网络和区域提议网络实现目标检测。

2.根据权利要求1所述的方法，其特征在于，以kitti目标检测标记数据集作为真实场景的图片和对应的点云数据，所述方法包括：

(1)将kitti目标检测标记数据集上的点云数据划分为一个空间均匀分布的三维体素网格，沿着x、y、z方向，点云数据的长、宽和深度范围分别为d、w和h；定义每个体素的长、宽和深度分别为v_d、v_w、v_h，则最后的三维体素网格的长、宽和深度为

(2)构建特征提取器，所述特征提取器VFE由一个全连接网络和一个最大池化操作组成，叠加的特征提取器在体素级别对体素内的每个点进行编码，输出VFE特征；全连接网络由一个线性层、一个批归一化操作和一个ReLU层组成；

(3)训练一个基于resnet的faster RCNN网络；将resnet的层1至层4模块作为图片的多层语义特征提取器，输出图片特征图；

(4)利用点云与图片之间的映射关系，将点云映射到图片特征图，通过插值获取点云对应的图片多层语义特征信息，使用一个全连接网络对图片特征进行转换，之后对每个点的多层语义特征进行连接；

(6)通道注意力发掘不同模态特征的重要程度，通道注意力的输入为图片特征、VFE特征和体素邻域加强特征，通道注意力由两个线性层和一个sigmoid操作组成；

(7)体素注意力挖掘不同体素特征对三维目标检测的贡献程度，增强有用特征，抑制无用特征，体素注意力由一个线性层和一个sigmoid操作组成；

(8)经过双注意力机制加强的体素特征送入到一组卷积中间层，输出体素特征

(9)区域提议网络将卷积中间层的输出特征在H维度进行压缩，通过下采样和上采样操作获取特征图，对上采样特征进行连接，输出最后特征图

(10)将最后特征图送入分类器和回归器，分别得到待检测目标的种类和位置、目标大小及方向。

3.根据权利要求2所述的方法，其特征在于，所述特征提取器由两个叠加的特征提取器VFE1和VFE2组成，所述(2)构建特征提取器，包括：

2.1定义为一个非空体素，非空体素内包含5个点，其中x_i,y_i,z_i为点P_i的三维坐标，r_i为点P_i反射值，点的特征即为三维坐标与反射值；

2.2计算非空体素V内所有点的坐标均值作为体素V的聚类中心(c_x,c_y,c_z)，同时体素在三维体素网格中的坐标作为体素V的坐标V_center(v_x,v_y,v_z)，然后计体素V内每个点相对聚类中心和体素坐标V_center的坐标偏移，并对点的特征进行连接，从而获取特征提取器VFE输入V_in：

2.2输入特征V_in通过全连接网络进行特征升维转换到特征空间此时非空体素V内所有点的特征维度升至m维，m＝64；之后通过聚合V_feature特征信息对每个体素所表示的三维物体的表面形状进行编码，即对V_feature进行最大池化获取体素V的局部聚合特征

2.3将2.2获取到的非空体素V的局部聚合特征V_local与V_feature进行连接以对V内所有点进行特征增强；得到特征提取器VFE的输出V_out：

T表示体素内包含点的个数。