[发明专利]一种基于视觉语义点云的建图方法及系统

说明书

本发明公开了一种基于视觉语义点云的建图方法及系统，能够通过语义分割，目标检测等深度学习框架提取语义信息，能够通过在SLAM系统中加入点云配准约束，并结合八叉树地图对点云地图进行后处理，有效提升了建图的准确度，能够通过在使用八叉树对原始点云进行滤波后，将八叉树地图被占据的体素的中心坐标以及体素的语义信息，重新转化为语义点云地图，不仅大幅减少原始地图中的冗余点，节省储存空间及后继的计算资源消耗，同时也解决了地图转化为八叉树结构后难以利用的问题。

技术领域

本发明涉及深度学习、机器视觉和地图构建技术领域，尤其涉及一种基于视觉语义点云的建图方法及系统。

背景技术

点云地图大量应用于即时定位与建图(simultaneous localization andmapping，SLAM)技术中，在实时追踪机器人的位置和局部建图等具体功能上扮演着重要的作用。点云地图根据所采用的传感器方案，主要可以分为由激光雷达直接采集得到的激光点云地图，以及由摄像头采集的图像转化得到的视觉点云地图。视觉点云地图的传感器方案相比激光点云地图的传感器方案，成本优势巨大，但受限于精度，地图复用困难等原因，目前视觉点云地图并没有像激光点云地图得到大规模的应用。

因此，在点云建图时，如何在降低硬件成本的同时，提升视觉点云的建图精度，降低视觉点云的冗余程度和储存消耗，是一项亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种基于视觉语义点云的建图方法，能够在降低硬件成本的同时，提升视觉点云的建图精度，降低视觉点云的冗余程度和储存消耗。

本发明提供了一种基于视觉语义点云的建图方法，包括：

采集车辆运行过程中的图像数据，其中，所述图像数据包括：车辆的四路环视图像和运动参数；

将所述四路环视图像拼接为鸟瞰图；

提取所述鸟瞰图中的语义信息；

基于所述图像数据相邻帧间的惯性约束、视觉特征点约束以及语义点云约束优化车辆位姿；

基于提取的所述语义信息、优化的所述车辆位姿和所述鸟瞰图，计算每一帧中具有语义信息的像素点的世界坐标，并在世界地图上更新对应的点和语义信息，将所有帧计算完毕后，得到一个包含所有语义信息的点云地图；

初始化八叉树地图，根据每一帧计算得到的点云更新八叉树地图中对应体素的占据概率与颜色信息，在所有帧计算完毕后，得到一个带有语义信息和占据置信度的八叉树地图；

储存所述带有语义信息和占据置信度的八叉树地图；

基于设置的置信度阈值对所述带有语义信息和占据置信度的八叉树地图进行体素滤波；

提取滤波后的八叉树地图被占据的体素的中心坐标以及体素的语义信息，重新转化为语义点云地图。

优选地，所述采集车辆运行过程中的四路图像数据，包括：

通过四路环视摄像头采集车辆的四路环视图像；

通过惯性传感器采集车辆的运动参数。

优选地，所述将所述四路环视图像拼接为鸟瞰图，包括：

利用棋盘格直接标定的方法，将所述四路环视图像拼接为鸟瞰图。

优选地，所述提取所述鸟瞰图中的语义信息，包括：

通过语义分割模型提取车位线、车道线、箭头、禁停线和鱼骨线；

通过目标检测模型提取车位线角点和箭头端点。

一种基于视觉语义点云的建图系统，包括：