[发明专利]基于分类惩罚的摄像头和激光雷达信息配准方法

说明书

本发明公开了一种基于分类惩罚的摄像头和激光雷达信息配准方法，包括：对采集的图像通过区域分类算法将图像分为正负区域；将激光雷达点分成正负两个类别；将激光雷达点按照位姿参数投影在图像坐标系内，当激光雷达的正点投影到正区域，分配正的奖励值，反之分配负的奖励值，设置目标函数，将目标函数抽象成位姿参数的函数，每一次位姿更新，将所有的激光雷达点投影在图像区域，通过统计分类正确以及错误点计算目标函数值，然后评价此次位姿参数的优劣，并继续更新，得到目标函数值最大的位姿参数。可以十分方便的获得激光雷达以及摄像头之间的位姿关系,从而可以方便的进行视觉信息以及激光雷达的信息融合。

技术领域

本发明涉及自动驾驶环境感知系统的不同传感器之间的信息配准以及融合技术领域，具体地涉及一种基于分类惩罚的摄像头和激光雷达信息配准方法。

背景技术

自动驾驶环境感知系统是一个信息冗余系统,其环境感知传感器包括如激光雷达、双目摄像头、单目摄像头、超声波、毫米波雷达等。而在这个冗余感知系统中，不同传感器之间的信息配准以及融合是自动驾驶的环境感知模块中的关键步骤。

激光雷达和摄像头之间的融合是目前的一个研究热点，其主要原理如图1所示。

激光雷达数据到摄像头数据的坐标变换，其实就是一个旋转平移矩阵[R，t]。为了表述方便，如图1所示，我们将摄像机坐标系定义为O_cX_cY_cZ_c，雷达坐标系定义为O_lX_lY_lZ_l,摄像机的图像坐标系定义为O_cU_cV_c。对于空间任意一点M，其在摄像机坐标系下的坐标X_c，Y_c，Z_c，其在雷达坐标系下的坐标为(X_l,Y_l,Z_l)，其在摄像机的图像坐标系下的坐标为(u,v)，这样对于空间之间的坐标转换关系如下：

dx代表x轴方向一个像素的宽度，dy代表y轴方向上一个像素的宽度。dx、dy为摄像机的内参数。(u₀,v₀)称为图像平面的主点，也是摄像机的内参数。摄像机的内参数可以通过张正友的标定方法进行快速精确的标定。为了表述方便我们将内参矩阵定义为P，空间点在摄像机坐标系以及雷达坐标系的向量定义为M_c，M_l。

摄像机坐标系和雷达坐标系之间满足：

R代表旋转，T代表平移。R、T与摄像机无关，所以称这两个参数为摄像机的外参数。有以上关系可以得出摄像机图像坐标系和雷达坐标系存在如下关系：

在公式中，仅有R，T两个未知矩阵，因此存在两类标定方法。

1.基于Phantom的点到点对应关系标定，此方法直接利用上述公式，通过获取空间点在雷达坐标系中的坐标以及在摄像机图像坐标系上的坐标，然后通过解线性非齐次方程组的方法进行标定。但是由于雷达数据的稀疏特性，因此需要通过曲线拟合的方法获取标定点。如图2所示，由于激光雷达点的稀疏特性，可能雷达射线并不能恰好扫描到模体的顶点A，因此我们需要先进性模型边线的直线拟合,边线拟合的交点即是模型的顶点A，其他的标定点可以同理获取。该方法操作相对复杂且该配准方法的配准精度会受到很大影响。