[发明专利]利用激光雷达和视觉传感器融合在线构建语义地图的方法

权利要求书

1.一种利用激光雷达和视觉传感器融合在线构建语义地图的方法，其特征在于，包括：

101、获取当前车辆的栅格地图，所述栅格地图包括多个用于存放检测目标的栅格/网格，且每一栅格/网格具有唯一的与方位关联的一维字符串标识；

102、依据预先标定方位关系的激光雷达和视觉传感器，获取激光雷达对应的测距数据、视觉传感器对应的图像数据；

103、对激光雷达的测距数据进行目标检测处理，获取转换至栅格地图对应的大地坐标系下的多个第一类检测目标的多属性信息；

104、对视觉传感器的图像数据进行特征提取、匹配及重建，获取转换至栅格地图对应的大地坐标系下的多个第二类检测目标的多属性信息；

105、融合第一类检测目标和第二类检测目标的多属性信息，并将融合后的检测目标的多属性信息均导入到Redis数据库中，在线生成作为语义地图的高维栅格地图，所述高维栅格地图中的各检测目标的多属性信息以动态数据库表的方式存储。

2.根据权利要求1所述的方法，其特征在于，所述101包括：

借助于GPS-RTK获取当前车辆的位置信息；

根据当前车辆的位置信息，建立指定尺寸的包括多个栅格的网格地图作为初始栅格地图；

将所述初始栅格地图每一网格的二维坐标转换为大地坐标系下的经纬度坐标，得到转换坐标的栅格地图；

采用GEOHASH算法将转换坐标的栅格地图中每一网格的经纬度坐标编码为一维字符串，以代表栅格地图中每一网格的地理标识。

3.根据权利要求1所述的方法，其特征在于，所述102包括：

借助于棋盘格平面靶标的方式对激光雷达和视觉传感器外部的方位关系进行标定；所述激光雷达和视觉传感器均为借助于机器人设置在车辆上的目标探测设备；

利用激光雷达采集当前车辆周围的测距数据，以获取三维点云数据；

利用视觉传感器采集当前车辆周围的图像数据。

4.根据权利要求3所述的方法，其特征在于，所述103包括：

利用点云数据高程信息对三维点云数据进行地面和非地面区域的分割；

根据激光雷达的特征参数，对分割的非地面区域障碍物目标进行聚类识别，获取障碍物在栅格地图中的以一维字符串表示的位置信息。

5.根据权利要求4所述的方法，其特征在于，所述103还包括：

采用Fast Point R-CNN对三维点云数据中对应障碍物的点云数据进行聚类得到动态和静态的第一类检测目标的类别信息。

6.根据权利要求1所述的方法，其特征在于，所述104包括：

视觉传感器包括多个不同焦距的镜头时，检测每一镜头的图像数据中各目标的类别及位置信息；

对多个镜头的图像数据进行坐标转换处理，并采用双目异焦距立体视觉重建方法对坐标转换后的图像数据进行三维重建定位，获得所有镜头中所有目标的三维定位信息及类别标签语义信息；

三维定位信息及类别标签语义信息组成第二类检测目标的多属性信息。

7.根据权利要求6所述的方法，其特征在于，所述104还包括：

将第二类检测目标的多属性信息投影变换栅格地图对应的大地坐标系下，并采用一维字符串表示各第二类检测目标的位置信息。

8.根据权利要求7所述的方法，其特征在于，所述105包括：

根据预先设定的激光雷达和视觉传感器的权重比值，融合第一类检测目标和第二类检测目标的多属性信息；

和/或，

第一类检测目标包括：包括路沿、车道线、树木以及建筑物的静态障碍物，包括行人、机动车及非机动车的动态障碍物；

第一类检测目标的多属性信息包括：类型、尺寸、位置、速度和姿态以及形状、材质信息；

第二类检测目标包括：行人、小动物、机动车、非机动车、红绿灯、车道线或交通标志；

第二类检测目标的多属性信息包括：目标在各图像中的位置信息、尺寸信息、速度及类别信息。