[发明专利]一种基于摄像机和激光雷达的可行区域检测方法

权利要求书

1.一种基于摄像机和激光雷达的可行区域检测方法，其特征在于：包括如下步骤：

步骤1：采用激光雷达获取道路环境点云数据，采用双目摄像机获取道路环境图像数据；所述激光雷达点云数据包括多个包含三维坐标信息的扫描点；所述图像数据包含道路可行区域的左右图像；

步骤2：对双目摄像机和激光雷达进行联合标定到车辆坐标系；

步骤3：对双目摄像机获取的左右图像进行预处理，采用半全局匹配算法进行立体匹配，获取视差图，并采用PCL进行三维重建，获取像素的三维信息；

步骤4：对激光雷达每帧数据进行预处理，并根据阈值除去一定高度的点云，获取大致可行区域点集；

步骤5：对于处理后的雷达点云和三维重建后的像素点，采用一种基于距离的方法融合，提取可行区域。

2.根据权利要求1所述的一种基于摄像机和激光雷达的可行区域检测方法，其特征在于：所述激光雷达为16线雷达，所述摄像机为双目摄像机。

3.根据权利要求1所述的一种基于摄像机和激光雷达的可行区域检测方法，其特征在于：步骤2所述的双目摄像机和激光雷达进行联合标定到车辆坐标系，方法包括：

S201首先，设置传感器坐标系和车辆坐标系，统一以车前方为Y轴，向左为X轴，向上为Z轴，原点分别为传感器的中心和车辆中心；

S202先标定双目相机，根据张正友标定法，求得相机内外参数，按照式(1)将像素坐标数据转换到相机坐标系下，然后采用多个标定物，手动测量其在车辆坐标系O_V-X_VY_VZ_V下的坐标，以及在左右相机坐标系中的位置，按照式(2)求得旋转矩阵R_C和平移向量T_C；

式中：R_C，T_C分别为数据由摄像机坐标系转为车辆坐标系的旋转矩阵和平移矩阵，f为相机焦距，1/dx和1/dy表示：x方向和y方向的每单位长度包含多少像素个数，可为小数；γ为扭曲因子，取0；u₀、v₀分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数；

S203再标定雷达，采用多个标定物，手动测量其在车辆坐标系O_V-X_VY_VZ_V下的坐标，及其在雷达坐标系的坐标，按照式(3)求得旋转矩阵R_L和平移向量T_L，标定到车辆坐标系下：

。

4.根据权利要求1所述的一种基于摄像机和激光雷达的可行区域检测方法，其特征在于：步骤3所述对双目摄像机获取的左右图像进行预处理，采用半全局匹配算法进行立体匹配，获取视差图，并采用PCL进行三维重建，方法包括：

S301对左右图像进行预处理包括直方图均衡化和中值滤波去噪；

S302采用半全局匹配算法进行立体匹配，获取视差图：首先依据全局匹配的能量函数，采用扫描线最优化将二维问题变为多个一维问题，每一个问题都能用动态规划进行解决。一个像素点的邻域像素点通常认为有8个，所以采用8路不同方向的扫描线来进行匹配代价的聚合，最后通过求解该半全局能量函数的最小值来获得最佳视差；

S303采用PCL进行三维重建：采用PCL进行三维重建，获取每个像素点的真实三维位置。

5.根据权利要求1所述的一种基于摄像机和激光雷达的可行区域检测方法，其特征在于：所述步骤4具体为：对激光雷达每帧数据进行预处理，设置高度阈值，滤除所有阈值外的点，获取地面大致可行区域。

6.根据权利要求1所述的一种基于摄像机和激光雷达的可行区域检测方法，其特征在于：步骤5所述对于处理后的雷达点云和三维重建后的像素点，采用一种基于距离的方法融合，提取可行区域，方法为：

S501首先，根据对雷达点云和三维像素点的Z值按照设定阈值进行分段，统计每段内点集的数目，根据阈值滤除点集数目较少的段；

S502然后，对于每个点的X值，根据所设置的距离阈值d_x，计算每段内点之间X距离小于距离阈值点的数目，保留前50％的段；

S503最后，对剩下的段，对于每个点的Y值，根据所设置的距离阈值d_y，计算每段内点之间Y距离小于距离阈值点的数目，保留前50％的段，保留的点为可行区域候选点；

S504对处理后的点集采用RANSAC算法进行拟合，即可获取可行区域。