[发明专利]一种基于点云跨视图特征转换的实时三维目标检测方法

权利要求书

1.一种基于点云跨视图特征转换的实时三维目标检测方法，其特征在于，包括以下步骤：

1)通过激光雷达采集场景的三维点云，对三维点云进行环视投影获得对应的二维环视图；

2)建立神经网络结构，利用已知数据集及对应的二维环视图对神经网络结构进行训练，设置总损失函数对神经网络结构进行监督，获得训练好的神经网络结构；

3)将待测场景的三维点云和对应的二维环视图输入到训练好的神经网络结构，输出神经网络结构的回归残差和当前待测场景的分类图，基于当前待测场景的分类图和回归残差进行预测三维框的计算，获得最后的预测三维框。

2.根据权利要求1所述的一种基于点云跨视图特征转换的实时三维目标检测方法，其特征在于，所述步骤1)中，建立以俯仰角和朝向角为坐标轴的二维环视图，计算三维点云中各个点与激光雷达坐标系原点的俯仰角和朝向角投影至以俯仰角和朝向角为坐标轴的二维环视图中，获得对应的二维环视图。

3.根据权利要求2所述的一种基于点云跨视图特征转换的实时三维目标检测方法，其特征在于，所述步骤2)中，神经网络结构包括点-环视特征提取模块、分层体素柱模块和稀疏检测头模块；神经网络结构的输入输入到点-环视特征提取模块中，点-环视特征提取模块经分层体素柱模块后与稀疏检测头模块相连，稀疏检测头模块的输出作为神经网络结构的输出。

4.根据权利要求3所述的一种基于点云跨视图特征转换的实时三维目标检测方法，其特征在于，所述点-环视特征提取模块包括环视图分支、点分支和三个点-环视特征融合块，环视图分支通过三个点-环视特征融合块与点分支相连；环视图分支包括六个编码模块和四个解码模块，点分支包括3个1D卷积层；

三维点云输入到第一1D卷积层，二维环视图输入到第一编码模块，第一1D卷积层输出的第一点云特征P1和第一编码模块输出的第一环视图特征E1均输入到第一点-环视特征融合块中，第一点-环视特征融合块分别输出更新后的第一点云特征和第一环视图特征，更新后的第一点云特征输入到第二1D卷积层中，更新后的第一环视图特征输入到第二编码模块，第二编码模块依次经第三编码模块、第四编码模块和第五编码模块后与第六编码模块相连，第二1D卷积层输出的第二点云特征P2和第六编码模块输出的第六环视图特征E6均输入到第二点-环视特征融合块中，第二点-环视特征融合块分别输出更新后的第二点云特征和第六环视图特征，更新后的第二点云特征输入到第三1D卷积层中，更新后的第六环视图特征输入到第一解码模块，第一解码模块依次经第二解码模块和第三解码模块后与第四解码模块相连，第三1D卷积层输出的第三点云特征P3和第四解码模块输出的第十环视图特征D4均输入到第三点-环视特征融合块中，第三点-环视特征融合块分别输出更新后的第三点云特征和第十环视图特征，将更新后的第三点云特征记为3D特征点云并作为点-环视特征提取模块的输出；

所述点-环视特征融合块中首先根据点云特征对应的二维环视图，利用双线性插值方法对点云特征各个点进行采样，获得点的2D特征，将输入的环视图特征作为点的3D特征，将点的2D特征和点的3D特征进行级联后输入到依次相连的3个1D卷积层中，最后一个1D卷积层的输出作为更新后的点云特征，将最后一个1D卷积层的输出进行环形反投影后获得更新后的环视图特征。

5.根据权利要求4所述的一种基于点云跨视图特征转换的实时三维目标检测方法，其特征在于，每个编码模块由一个致密残差块和若干个卷积层依次相连构成，每个编码模块的输入输入到当前致密残差块中，最后一个卷积层的输出作为当前编码模块的输出，解码模块由一个致密残差块和若干个反卷积层依次相连构成，每个解码模块的输入输入到当前致密残差块中，最后一个反卷积层的输出作为当前解码模块的输出。

6.根据权利要求2所述的一种基于点云跨视图特征转换的实时三维目标检测方法，其特征在于，所述分层体素柱模块中首先对点-环视特征提取模块输入的3D特征点云进行体素化处理，获得三维点云网格特征；

接着将三维点云网格特征依次输入1D和2D卷积层中依次进行高度维提取特征和长宽维提取特征以及通道重整后，获得鸟瞰图特征并输出。