[发明专利]一种激光雷达和相机间的外参标定系统和方法

说明书

本发明提供一种激光雷达和工业相机之间外参标定的方法，属于计算机视觉和机器人领域。本发明解决的问题是：激光雷达和工业相机协同工作时，需要统一坐标系，需要估计激光雷达和工业相机之间的外参。主要包括通过相机棋盘格获取相机姿态，通过雷达数据获取激光雷达的姿态，根据激光雷达和相机之间的外参关系，估计激光雷达和工业相机之间的外参，进一步，结合多帧数据，优化激光雷达和工业相机之间的外参。本专利能够很好的估计激光雷达和相机之间外参。

技术领域

本发明属于计算机视觉和机器人领域，涉及一种激光雷达和相机的外参标定系统和方法。

背景技术

三维重建在计算机视觉以及机器人领域有着非常重要的作用，是虚拟现实，智能监控，机器人路径规划等应用的基础。激光雷达能够直接获取三维深度信息，图像能够获取纹理和色彩信息，二者相结合的系统能够获得更加真实的三维场景。激光雷达与相机之间的外参标定能够保证两种传感器之间的数据融合。

三维重建主要分为两类：基于相机图像进行的三维重建以及基于激光雷达的三维重建。基于图像的三维重建主要包括图像的获取、相机的标定、特征点提取、特征点匹配、表面重建等几个步骤。

基于激光雷达的重建算法，激光雷达能够直接获取深度信息，常用ICP算法做三维点云的融合。

激光雷达和相机融合的系统能够达到实时表面重建，并且能够获得丰富的纹理信息。激光雷达和相机之间的外参能够保证系统坐标的统一，是多传感器信息融合系统中非常重要的部分。

发明内容

本发明提供一种激光雷达和相机之间外参标定系统和方法。包括如下步骤：

步骤1：通过相机棋盘格获取相机姿态；

步骤2：通过激光雷达数据获取激光雷达姿态

步骤3：激光雷达与相机之间的外参估计

步骤4：优化外参估计

进一步地，所述步骤1进一步具体为：相机围绕棋盘格运动，保证棋盘格位于相机视野范围内。以两幅视图为例，取出第i帧和第j帧，假设i＜j。通过角点检测算法，可以获取每幅图像的棋盘格角点，然后利用相关匹配算法可以鲁棒地获得棋盘格角点的匹配关系。由于棋盘格角点位于同一平面上，对应关系约束于单应性矩阵H，通过分解单应性矩阵H，可以获取四组可能的相机姿态，但有效3D点必须位于相机前方，根据该约束条件，便可筛选出真正的相机姿态齐次坐标：

其中，i，j分别表示第i帧和第j帧，i＜j。R表示旋转矩阵，t表示平移矩阵。

进一步地，所述步骤2进一步具体为：假设雷达和相机已经做好同步，提取第i帧和第j帧(与相机第i帧和第j帧时刻相同)雷达数据，根据LOAM系统提供的算法，获取这两帧雷达数据间的姿态。

首先，提取雷达数据的特征点，当前点的平滑度可以用下面公式评估：

其中，表示雷达坐标系下，第k帧点云第m个点的三维坐标，S表示当前点周围邻域点的集合。选取当前平滑度较大和较小的点分别作为角点和平面点，这两类点作为当前帧点云的特征点。

然后，假设当前帧为第i帧，获得特征点集合P_i，将第j帧点云保存到KDTree中，能够快速获取集合P_i中特征点的最邻近点，把这些最邻近点作为P_i的匹配点。这样，两帧雷达点云数据之间的关系可描述如下：

其中，表示第i，j帧两帧雷达数据之间的旋转矩阵，表示平移向量。

这里选取点到直线和点到面的距离作为ICP算法里面的距离，迭代求解得到当前两帧雷达数据之间的姿态