[发明专利]一种基于几何条件限制的三维车辆检测方法

说明书

本发明公开一种基于几何条件限制的三维车辆检测方法，包括训练和识别阶段；训练阶段的方法为，给定彩色输入图像，首先进行预选框生成，获得可能存在的初始区域，减少搜索范围，然后对每个预选框位置进行特征提取，最终送入不同的分支网络中；测试阶段的方法为，首先利用训练好Region Proposal Network在不同尺度的特征层上生成不同尺度和形状的预选框，然后对预选框对应特征进行RoI‑Pooling，得到对应的三维属性，最终利用透视投影变换公式约束得到完整的车辆三维信息。本发明对图像的噪声具有较强的鲁棒性，可增加车辆检测的鲁棒性，提高三维车辆识别的识别率，大大减少识别所需时间，具有十分重要的实用价值。

技术领域

本发明涉及一种检测方法，具体设计一种基于几何条件限制的三维车辆检测方法，属于检测技术领域。

背景技术

目标检测是自动驾驶中的核心技术之一，通俗的来说就是给定一张图片，从中寻找出人们感兴趣的物体并将其在图片中的位置标注出来。自动驾驶技术的研究越发火热，而该技术的核心之一就是要在行驶过程中，通过对周边物体的精准检测进而指导车辆规划行驶的路径，躲避障碍物，保障行驶安全。通常自动驾驶车辆都会搭载许多类型的传感器，其中与物体检测相关的有激光雷达、摄像头和红外等，利用这些传感器来获取周边场景的信息，再结合人工智能技术分析不同传感器采集到的信号，自动驾驶系统便能够获知当前的路况以及障碍物的位置，控制车辆安全行驶。其中64线激光雷达传感器由于具有响应速度块、探测距离远和可靠性较高等特点，被广泛应用于车辆周边环境感知，但激光雷达传感器造价昂贵，无法普及；毫米波雷达穿透性强且体积小，但是其探测的范围比较小，精度也不如激光雷达；而摄像头成本很低，且相应的检测算法已经非常成熟，尤其是得益于近几年深度学习的发展，从摄像头采集的图像中能够很容易提取出语义级别的信息。

在深度学习流行以前，3D车辆检测主要采用滑动窗口的方式对目标区域进行搜索，然后利用手工设计特征进行特征提取和模板匹配。近年来深度学习算法成为主流，并且不少优秀的车辆检测算法被提出。Chabot等人提出3D车辆检测算法Deep MANTA(见参考文献：《Deep MANTA:基于单目图像由粗到细的二维和三维联合车辆分析的多任务网络》，载《计算机视觉和模式识别会议》(Chabot F,Chaouch M,Rabarisoa J,et al.Deep MANTA:ACoarse-to-Fine Many-Task Network for Joint 2D and 3D Vehicle Analysis fromMonocular Image[C].IEEE Conference on Computer Vision and PatternRecognition,2017.1827-1836))，该算法利用卷积神经网络对输入图片中进行多任务的车辆分析，即同时进行车辆检测、零部件定位、可见部位特征表示和车辆3D尺寸的估计。Chen等人在Faster R-CNN算法基础上将激光雷达点云特征和局部图像特征进行融合，直接回归出车辆的3D位置信息(见参考文献：《针对自主驾驶的多视图三维目标检测网络》，载《计算机视觉和模式识别会议》(Chen X,Ma H,Wan J,et al.Multi-view 3D Object DetectionNetwork for Autonomous Driving[C].IEEE Conference on Computer Vision andPattern Recognition,2017.6526-6534))。Lim等人提出结合CAD模型的几何信息和真实图像中物体的外观信息来训练模型并使其能够准确的估计出图像中物体的姿态信息(见参考文献：《基于三维CAD模型的精细姿态估计模型》，载《欧洲计算机视觉会议》(Lim J J,Khosla A,Torralba A,et al.FPM:Fine Pose Parts-Based Model with 3D CAD Models[C].European Conference on Computer Vision,2014.478-493))。针对实际场景中物体可能出现的遮挡问题，Zia等人根据三维建模应当能够促进遮挡部位推理的直觉，设计了几种常见的几何遮挡模式下的显式表示，从而恢复被遮挡物体完整的3D信息(见参考文献：《三维物体表示的显式遮挡建模》，载《计算机视觉和模式识别会议》(Zia M Z,Stark M,Schindler K,et al.Explicit Occlusion Modeling for 3D Object ClassRepresentations[C].IEEE Conference on Computer Vision and PatternRecognition,2013.3326-3333))。这些方法通常使用需要提供物体的2D边界框和观测角度的信息作为初始化步骤，在这些方法中，3D物体被投影到2D边界框中然后利用卷积神经网络对投影区域进行特征提取并输出相应参数，2D和3D目标检测完全割裂开来。这样做一方面效率很低，因为需要训练两个不同的模型分阶段训练与预测，另一方面也把3D信息与全图信息隔离开来，导致模型的性能很差。现阶段的车辆检测研究一般是在通用目标检测算法基础上进行优化，但这类算法往往对小目标检测效果不佳，而自动驾驶场景下需要对远处驶来的车辆进行检测分析，而远处驶来的车辆由于视觉原因在图像中显示的就非常小。