[发明专利]基于YOLO的端到端三维物体检测方法

说明书

本发明公开了一种基于YOLO的端到端三维物体检测方法。基于YOLO的端到端三维物体检测方法，包括以下步骤：对点云图像进行标注，获取标注后的点云图像数据集；构建基于YOLO的端到端三维物体检测网络模型；将点云图像数据集作为所述基于YOLO的端到端三维物体检测网络模型的训练样本和测试样本；将训练样本输入所述的基于YOLO的端到端三维物体检测网络模型中进行训练，达到训练指定次数或者Loss曲线不再下降且精度不再提高为止，将训练好的模型保存；然后将测试样本输入至保存好的网络模型中，网络即会输出三维物体检测结果。本发明的基于YOLO的端到端三维物体检测方法，比现有的三维物体检测方法更完善，训练难度更高。

技术领域

本发明涉及模式识别、机器学习及计算机视觉技术领域，特别涉及基于YOLO和FLN网络的物体检测方法。

背景技术

三维物体检测是模式识别和计算机视觉的一个重要研究领域，同时也是解决很多高层视觉任务的核心问题，物体检测的研究为高层视觉任务的解决奠定了基础。它在人们的日常生活中以及工业生产中有着广泛的应用，如智能视频监控、无人驾驶、智能机器人、智能交通以及增强现实等。

在过去的几年里，随着二维物体检测方法的日趋完善以及深度相机的普及，三维物体检测技术也获得了突飞猛进的发展。三维物体检测通过识别和定位三维物体，得到物体的三维信息，输出物体的三维包围盒来表示物体在真实世界中的位置。三维包围盒由其中心点坐标C_x,C_y,C_z、尺寸w,h,l以及方向角α,β,γ来决定。其中，C_x,C_y,C_z为相对于特征图网格的偏移，w,h,l为相对于anchor尺寸的偏移，α,β,γ为相对于anchor姿态的偏移。在已有的研究工作中，无人驾驶三维物体检测和室内环境的场景理解，其三维包围盒的自由度仅仅为7个(即C_x,C_y,C_z,w,h,l,α),因为车辆和室内环境中的物体只有航向角α，而没有俯仰角β和翻滚角γ。但在我们所研究的物体拣选和装卸领域，我们必须考虑物体精确的姿态，以达到与其对应的效果，因此我们需要考虑物体的俯仰角β和翻滚角γ，输出9个自由度的三维物体包围盒。

发明内容

为解决上述技术问题，本发明提供了基于YOLO的端到端的三维物体检测方法，以达到检测更完善，难度更高的目的。

为达到上述目的，本发明的采用的技术方案为：基于YOLO的端到端三维物体检测方法，包括以下步骤：

步骤一：对点云图像进行标注，获取标注后的点云图像数据集；

步骤二：构建基于YOLO的端到端三维物体检测网络模型；将点云图像数据集作为所述基于YOLO的端到端三维物体检测网络模型的训练样本和测试样本；

步骤三：将训练样本输入所述的基于YOLO的端到端三维物体检测网络模型中进行训练，达到训练指定次数或者Loss曲线不再下降且精度不再提高为止，将训练好的模型保存；然后将测试样本输入至保存好的网络模型中，网络即会输出三维物体检测结果。

进一步的，所述基于YOLO的端到端三维物体检测网络模型的构建方法包括以下步骤：

步骤一：构建基于FLN的三维特征学习网络，将点云数据集作为该网络的输入，将点云空间划分为体素，并且将每个体素内的点变换为表征形状信息的矢量表示；该空间被表示为稀疏4D张量；

步骤二：将稀疏4D张量调整为3D张量，保留宽和高尺度，将深度和通道数合并为新的通道数；

步骤三：将步骤二获得的3D张量作为基于YOLO的二维物体检测网络的输入，该网络基于偏移残差回归三维包围盒，直接回归包围盒的中心点坐标、长宽高、欧拉角9个自由度。回归方法是通过计算预测值与真实值之间的Loss值来不断调教网络使其输出值不断逼近真实值。