[发明专利]一种基于视觉语义点云的建图方法及系统

权利要求书

1.一种基于视觉语义点云的建图方法，其特征在于，包括：

采集车辆运行过程中的图像数据，其中，所述图像数据包括：车辆的四路环视图像和运动参数；

将所述四路环视图像拼接为鸟瞰图；

提取所述鸟瞰图中的语义信息；

基于所述图像数据相邻帧间的惯性约束、视觉特征点约束以及语义点云约束优化车辆位姿；

基于提取的所述语义信息、优化的所述车辆位姿和所述鸟瞰图，计算每一帧中具有语义信息的像素点的世界坐标，并在世界地图上更新对应的点和语义信息，将所有帧计算完毕后，得到一个包含所有语义信息的点云地图；

初始化八叉树地图，根据每一帧计算得到的点云更新八叉树地图中对应体素的占据概率与颜色信息，在所有帧计算完毕后，得到一个带有语义信息和占据置信度的八叉树地图；

储存所述带有语义信息和占据置信度的八叉树地图；

基于设置的置信度阈值对所述带有语义信息和占据置信度的八叉树地图进行体素滤波；

提取滤波后的八叉树地图被占据的体素的中心坐标以及体素的语义信息，重新转化为语义点云地图。

2.根据权利要求1所述的方法，其特征在于，所述采集车辆运行过程中的四路图像数据，包括：

通过四路环视摄像头采集车辆的四路环视图像；

通过惯性传感器采集车辆的运动参数。

3.根据权利要求2所述的方法，其特征在于，所述将所述四路环视图像拼接为鸟瞰图，包括：

利用棋盘格直接标定的方法，将所述四路环视图像拼接为鸟瞰图。

4.根据权利要求3所述的方法，其特征在于，所述提取所述鸟瞰图中的语义信息，包括：

通过语义分割模型提取车位线、车道线、箭头、禁停线和鱼骨线；

通过目标检测模型提取车位线角点和箭头端点。

5.一种基于视觉语义点云的建图系统，其特征在于，包括：

采集模块，用于采集车辆运行过程中的图像数据，其中，所述图像数据包括：车辆的四路环视图像和运动参数；

拼接模块，用于将所述四路环视图像拼接为鸟瞰图；

语义特征提取模块，用于提取所述鸟瞰图中的语义信息；

优化模块，用于基于所述图像数据相邻帧间的惯性约束、视觉特征点约束以及语义点云约束优化车辆位姿；

第一建图模块，用于基于提取的所述语义信息、优化的所述车辆位姿和所述鸟瞰图，计算每一帧中具有语义信息的像素点的世界坐标，并在世界地图上更新对应的点和语义信息，将所有帧计算完毕后，得到一个包含所有语义信息的点云地图；

第二建图模块，用于初始化八叉树地图，根据每一帧计算得到的点云更新八叉树地图中对应体素的占据概率与颜色信息，在所有帧计算完毕后，得到一个带有语义信息和占据置信度的八叉树地图；

储存模块，用于储存所述带有语义信息和占据置信度的八叉树地图；

滤波模块，用于基于设置的置信度阈值对所述带有语义信息和占据置信度的八叉树地图进行体素滤波；

转化模块，用于提取滤波后的八叉树地图被占据的体素的中心坐标以及体素的语义信息，重新转化为语义点云地图。

6.根据权利要求5所述的系统，其特征在于，所述采集模块包括：四路环视摄像头和惯性传感器；其中：

所述通过四路环视摄像头，用于采集车辆的四路环视图像；

所述通过惯性传感器，用于采集车辆的运动参数。

7.根据权利要求6所述的系统，其特征在于，所述拼接模块具体用于：

利用棋盘格直接标定的方法，将所述四路环视图像拼接为鸟瞰图。

8.根据权利要求7所述的系统，其特征在于，所述语义特征提取模块包括：语义分割模型和目标检测模型；其中：

所述语义分割模型，用于提取车位线、车道线、箭头、禁停线和鱼骨线；

所述目标检测模型，用于提取车位线角点和箭头端点。