[发明专利]基于YOLO的端到端三维物体检测方法

权利要求书

1.基于YOLO的端到端三维物体检测方法，其特征在于，包括以下步骤：

步骤一：对点云图像进行标注，获取标注后的点云图像数据集；

步骤二：构建基于YOLO的端到端三维物体检测网络模型；将点云图像数据集作为所述基于YOLO的端到端三维物体检测网络模型的训练样本和测试样本；

步骤三：将训练样本输入所述的基于YOLO的端到端三维物体检测网络模型中进行训练，达到训练指定次数或者Loss曲线不再下降且精度不再提高为止，将训练好的模型保存；然后将测试样本输入至保存好的网络模型中，网络即会输出三维物体检测结果；

所述基于YOLO的端到端三维物体检测网络模型由基于FLN的三维特征学习网络和基于YOLO的二维物体检测网络组成，其构建方法包括如下步骤：

步骤(1)：构建基于FLN的三维特征学习网络，将点云数据集作为该网络的输入，将点云空间划分为体素，并且将每个体素内的点变换为表征形状信息的矢量表示；该空间被表示为稀疏4D张量；

步骤(2)：将稀疏4D张量调整为3D张量，保留宽和高尺度，将深度和通道数合并为新的通道数；

步骤(3)：将步骤(2)获得的3D张量作为基于YOLO的二维物体检测网络的输入，该网络基于偏移残差回归三维包围盒，直接回归包围盒的中心点坐标、长宽高、欧拉角9个自由度。

2.根据权利要求1所述的基于YOLO的端到端三维物体检测方法，其特征在于，所述的基于FLN的三维特征学习网络的构建方法为：

(a)通过将输入点云按照Vd×Vh×Vw栅格化，Vd×Vh×Vw表示每个栅格的深度、高度和宽度，由于原始点云深度、高度和宽度为D',H',W'以及公式D＝D'/Vd,H＝H'/Vh,W＝W'/Vw，则将会有D×H×W个栅格，对每个非空栅格采样T个点并计算栅格内所有点的均值，记录每个点和每个点到该均值的欧式距离；而空栅格则初始化为零，由此得到D×H×W×T×6；

(b)将(a)中得到的非空稀疏栅格输入多个VFE层，一个VFE层由全连接层、最大池化层和逐点连接层组成；全连接层后跟着批归一化层和线性整流激活函数，全连接层会将栅格内的点表达为逐点特征向量；最大池化层将逐点特征向量表达为局部聚合特征；逐点连接层将每个逐点特征向量和局部聚合向量联结起来，由此得到VFE层的输出；若以1个栅格T×6作为输入，VFE层的输出为C，C为最后一个VFE层的输出尺度；则栅格化后的点云再经过FLN网络的输出为4D张量D×H×W×C；

(c)将(b)中得到的4D张量D×H×W×C调整为3D张量H×W×D·C：先将4D张量的第一个尺度转置到第四个尺度之前变为H×W×D×C，然后将第三、四尺度合并为一个尺度变为H×W×D·C，以便将其输入到之后的基于YOLO的二维物体检测网络中。

3.根据权利要求1所述的基于YOLO的端到端三维物体检测方法，其特征在于：所述的基于YOLO的二维物体检测网络为YOLOv2网络，为基于YOLO的二维物体检测网络的第二代，该网络实现实时检测二维物体。

4.根据权利要求1-3任一项所述的基于YOLO的端到端三维物体检测方法，其特征在于：所述的点云图像数据集包括真实数据集和虚拟数据集两部分：真实数据集是利用多款深度相机在实验室场地环境下采集不同品类的深度图而获取；虚拟数据集是利用Blender工具人工生成不同场景不同天气、不同光照、不同品类的深度图而获取。

5.根据权利要求4所述的基于YOLO的端到端三维物体检测方法，其特征在于：所述的真实数据集的获取还包括：对深度图像进行配准，以获得需要的点云数据，利用LabelFusion工具对点云数据进行标注。

6.根据权利要求4所述的基于YOLO的端到端三维物体检测方法，其特征在于：所述的虚拟数据集的获取中还包括深度图的计算以及数据集自动标注过程。