[发明专利]一种基于图像的车辆位置和姿态确定系统以及相应的方法

说明书

本发明涉及一种基于图像的车辆位置和姿态确定系统以及相应的方法。所述基于图像的车辆位置和姿态确定系统包括：车辆图像采集模块，所述车辆图像采集模块用于采集车辆图像，其中，所述车辆图像采集模块包括相机和相机参数获取模块；二维边界框检测模块，所述二维边界框检测模块用于从所述车辆图像中检测和获取所述车辆的二维边界框信息；关键特征点检测模块，所述关键特征点检测模块用于从所述车辆图像中检测和获取车辆关键特征点信息；锥体定位模块，所述锥体定位模块用于计算出所述车辆在相机坐标系中所对应的锥体信息；以及车辆位置和姿态回归模块，所述车辆位置和姿态回归模块用于获得所述车辆位置和姿态信息。

技术领域

本发明涉及车辆领域，特别是车辆自动驾驶领域，尤其是车辆识别领域。具体地说，本发明涉及一种基于图像的车辆位置和姿态确定系统以及相应的方法。对本领域技术人员而言，显而易见的是，本发明亦可应用于其它领域。

背景技术

当前，我国正处于经济高速发展时期，道路交通发展迅速，机动车数量不断增加。为了解决地面交通迅速发展所引起的各种问题，智能交通系统应运而生，成为解决各种问题的有效途径。智能交通系统是以信息技术为代表的高新技术在道路交通运输中的集成应用，是先进的信息技术、数据传输技术、控制技术及计算机处理技术等技术结合应用的综合管理系统，使人、车、路与环境和谐结合，受到世界各国高度重视，发展极为迅速。

车辆识别作为智能交通系统中的一个重要组成部分，受到越来越多的重视。它从运动图像序列中检测、识别、跟踪车辆。基于图像和视频的智能交通系统可以检测很多交通参数，包括车辆的有无、车流量、车型、车长、车速、道路饱和度等。在这些测量中，需要从摄像头获取的图像信息出发，计算实际世界场景中的几何信息，并由此重建和识别物体。

图像中对应点之间的相互关系是由摄像头成像的几何模型决定的，这些几何模型参数就是摄像机参数或相机参数。在大多数条件下，这些参数必须通过实验和计算才能得到。

在现有的一些基于图像的车辆位置和姿态识别技术中，在判断车辆位置时，主要通过图像分析方法来识别前方车辆宽度和车辆类别，从而通过前方车辆宽度和车辆类别进一步判断前方车辆与本方车辆之间的距离。这种方法的主要缺点在于：(1)缺失了车辆的位置信息，只有一维距离信息；(2)测量不准确，因为获取前方车辆宽度的时候，需要准确获取前方车辆头部或者尾部宽度，如果将一部分的车辆侧面宽度包含进去，就会影响车辆宽度的准确度，进而影响距离测量的准确度。

另外，在一些其他的现有技术中，在判断车辆姿态时，主要通过车辆的运动方向、几何主轴和车型等信息直接进行判断，缺乏车辆在某个坐标系中的姿态信息，也没有将车辆姿态信息与车辆位置信息相互关联，因而无法实现车辆姿态信息与车辆位置信息的相互校准、匹配和融合，无法获得更加准确的判断结果。

发明内容

针对现有技术中的上述缺点，本发明提供一种基于图像的车辆位置和姿态确定系统以及相应的方法，该车辆位置和姿态确定系统以及相应的方法以图像信息和相机参数作为输入，并且结合神经网络和几何建模(例如包括相机坐标系的使用、坐标转换等等)，能够准确地确定前方车辆的位置和姿态。

本发明的大致思路是，从相机的摄像头采集的车辆图像中识别出车辆的二维边界框(bounding box)信息，将所述二维边界框信息通过相机参数映射到三维空间中，所述二维边界框信息会在三维空间中映射出一个锥体。在确定所述锥体的位置之后，将识别出的车辆类别信息和车辆关键特征点(landmark点，例如车灯和车轮)与所述锥体的位置结合，通过神经网络回归出车辆位置和姿态。

根据本发明的车辆位置和姿态确定系统和方法是基于纯图像的，也就是说，它们仅仅基于图像就能够确定车辆的位置和姿态。根据本发明的车辆位置和姿态确定系统和方法在仅有纯图像和相机内外参数做输入的情况下，就能够对前方车辆的位置和姿态进行评估。所述车辆的位置和姿态至少包括车辆在相机坐标系中的x、y、z轴位置、车辆类别信息、车辆水平方向(偏航角的值)。