[发明专利]一种对单目RGB图像进行3D目标检测的方法

说明书

本发明公开了一种对单目RGB图像进行3D目标检测的方法，包括：训练2D目标检测器，根据标注数据中的标注文件裁剪原始图像获得目标图像，缩放后输入3D目标检测器，预测目标的3D尺寸信息、偏转角度信息和置信度，训练3D目标检测器；通过训练完成的2D目标检测器检和3D目标检测器，预测2D框内目标的3D尺寸信息和偏转角度信息；根据偏转角度信息得到旋转变换矩阵，根据约束关系求解约束方程获得平移变换矩阵；再根据旋转变换矩阵和平移变换矩阵，计算获得目标的3D坐标在图像上的投影点，利用投影点信息绘制目标的3D框。相较于现有技术，本发明只需利用单目图像，就能训练3D目标检测器，并检测目标的3D信息和偏转角度，进而构建物体的3D框。

技术领域

本发明涉及深度学习和计算机视觉技术领域，尤其涉及一种对单目RGB图像进行3D目标检测的方法。

背景技术

近几年，随着深度学习的迅猛发展，计算机视觉领域中很多传统任务的实际性能表现有了很大的提升。例如，在2D目标检测领域，无论是基于两阶段的目标检测器Faster-RCNN，还是基于单阶段的目标检测器YOLO，在很多数据集上已经展现出非常好的效果。2D目标检测是在图像中的给定类别的目标周围画一个矩形框，但是这个矩形框并不能体现物体的3D结构。常用的2D目标检测的数据集例如Pascal VOC、MS COCO、ImageNet等，对图像的标注数据通常仅仅包括目标的2D框和类别，并没有其他充足的信息可以用来检测物体的3D特征，例如长宽高和偏转角度，以及3D框等。而随着机器人应用和自动驾驶等领域的飞速发展，3D目标检测变得愈发重要。在机器人应用领域，机器人需要和真实世界进行交互，那么就需要获取真实世界中物体的位置和形状大小等信息。同样，在自动驾驶领域，需要通过获取路上行人和车辆等的位置和大小等信息，以便当前汽车规避行人和车辆。

3D目标检测根据所依赖的训练数据，按照数据采集和标注难度从低到高大致可以分为三类：第一类数据集依赖于普通单目RGB图像，例如kitti数据集；第二类数据集依赖于RGB-D图像，例如LineMode数据集；第三类数据集依赖于点云数据，例如kitti数据集，具体的，kitti数据集既标注了图像，也采集了图像对应的点云数据。一般来说，基于单目2D图像的方法需要单目2D图像在传统的2D检测标注的基础上，再额外标注一些其他信息用于3D目标检测，包括目标的3D尺寸、目标在相机坐标系下的3D坐标、目标关于观察者的偏转角度等。通常情况下，在采集难度和标注代价方面，这些用于3D目标检测的数据比基于RGB-D图像以及点云数据要低很多。而基于单目2D图像的3D检测可以在很多方面利用已有的2D检测上的很多技术来实现。

所以，为了实现在自动驾驶等领域对车辆和行人等典型目标的3D特征检测，摆脱传统2D检测方法无法获取目标3D特征的缺点，从而为这些领域更复杂的应用做铺垫，急需一种对单目RGB图像进行3D目标检测的方法。

发明内容

本发明提供了一种对单目RGB图像进行3D目标检测的方法，以解决现有的2D检测方法只能输出2D框，无法获取目标3D特征，导致无法实现3D特征检测这一问题。

发明目的：针对现有技术中存在的问题，本发明提供一种对单目RGB图像进行3D目标检测的方法。通过本发明方法构建的对单目RGB图像进行3D目标检测的方法，旨在不依赖于RGB-D图像或者点云数据就能预测2D图像中的目标的3D尺寸和偏转角度，计算出目标的3D坐标在图像中的投影，进而构建目标的3D框。

技术方案：一种对单目RGB图像进行3D目标检测的方法，提出了一种在单目RGB图像上通过深度学习方法预测目标3D尺寸信息和偏转角度，进而通过目标3D框和2D框之间的约束关系，列出约束方程组并加以求解，得到目标3D框到图像的投影矩阵，最后计算出目标的3D框的解决方案，具体包括以下步骤：

步骤1，输入训练数据集，训练2D目标检测器用于生成目标的2D框；