[发明专利]一种基于关键点回归的3D车辆检测方法

说明书

本发明公开了一种基于关键点回归的3D车辆检测方法，本方法可以对驾驶场景中的前方车辆目标进行3D检测，从而得到车辆目标的三维信息，该方法相对于2D车辆目标检测技术可以为自动驾驶汽车决策系统提供更加丰富的场景信息，以及精度更高的基础数据，帮助决策系统做出更准确的判断，提高自动驾驶汽车的安全性。因此本方法具有很广阔的应用前景。本方法与其他3D车辆检测方法相比，无需像素深度以及雷达等数据，只需要单目视觉相机获取的普通RGB图像信息即可，并且检测结果可靠。

技术领域

本发明是一种用于对驾驶场景中车辆目标进行3D检测的方法，属于计算机视觉计算领域。

背景技术

如今无人驾驶汽车技术飞速发展，其中汽车驾驶所采用的环境感知手段方面，视觉传感器相对于超声、激光雷达等传感器，可获得更高、更精确、更丰富的道路场景环境信息，且价格更为低廉。而基于视觉的道路场景感知与目标行为意图分析技术中，前方车辆检测是一个非常重要的环节，它是决策系统所必需的基础数据，但是为了得到更加丰富的车辆目标信息，进而帮助决策系统做出更准确的判断，就需要对车辆进行3D检测，得到目标的三维信息。所以提出一种3D车辆检测方法尤为重要。

本发明提出的一种基于关键点回归的3D车辆检测方法主要用于自动驾驶汽车领域基于单目视觉的场景感知工作中，有着非常重要的应用价值。本方法可以对驾驶场景中的前方车辆目标进行3D检测，从而得到车辆目标的三维信息，该方法相对于2D车辆目标检测技术可以为自动驾驶汽车决策系统提供更加丰富的场景信息，以及精度更高的基础数据，帮助决策系统做出更准确的判断，提高自动驾驶汽车的安全性。因此本方法具有很广阔的应用前景。本方法与其他3D车辆检测方法相比，无需像素深度以及雷达等数据，只需要单目视觉相机获取的普通RGB图像信息即可，并且检测结果可靠。

发明内容

本发明的目的在于解决基于单目视觉进行3D车辆检测的问题，提出了一种基于关键点回归的3D车辆检测方法。

为了实现上述目的，本发明采取了如下的技术方案：一种基于关键点回归的3D车辆检测方法，该方法的实现过程如下，

步骤1：2D车辆检测；

步骤1-1：数据标注，训练数据标注采用Pascal_VOC格式，使用XML文件存储每张图片的标注结果，标注工具使用labelImg，下载安装labelImg软件，打开软件，点击“OpenDir”选择需要标注的图像所存放的文件夹，然后软件会将文件夹下所有图片加载进软件里面，此时会默认打开一张图片，然后按一下键盘字母“w”，进入标注状态，找到图片中的车辆，将鼠标箭头放在车辆左上角点击一下鼠标左键开始画矩形框，然后移动鼠标箭头到车辆右下角位置再次点击一次鼠标左键，出现提示输入标注的类别，这里输入“car”,然后点击“OK”，完成一个车辆目标的标注。标注要求是将图片中所有出现的车辆进行标注，标注数量10000张图片；

步骤1-2：模型训练，下载基于PyTorch的Faster R-CNN目标检测框架，将数据集的所有图片文件放在VOC2007数据集文件目录的JPEGImages文件夹中，将标注生成的XML文件放在VOC2007数据集文件目录的Annotations文件夹中，然后将所有图片的文件名(不包含文件后缀)放到一个名为“trainval.txt”的文件中，每行一个，然后将该文件放到放在VOC2007数据集文件目录的Main文件夹下面，完成数据的准备工作。然后下载ResNet101预训练网络模型，放到pretrained_model目录下，执行trainval_net.py文件，同时输入参--end_epoch＝50，即训练50个epoch；

步骤1-3：模型检测，在步骤1-2训练完成之后，得到最终训练好的模型文件，放入models文件夹中，将待检测的图片放入images文件中，运行test_net.py文件，得到检测的结果，即图片中车辆的外接矩形框坐标；

步骤2：车辆目标提取及预处理；