[发明专利]一种面向道路场景的三维语义地图构建和存储方法

说明书

本发明公开了一种面向道路场景的三维语义地图构建和存储方法，步骤如下：传感器在移动过程中采集路况视频数据，使用同步定位和构图技术获取关键帧，计算位姿和逆深度图，构建半密集点云地图；利用语义分割模型从所获取的关键帧中提取语义标记；利用二维到三维空间语义标记转换，将连续关键帧的语义标记数据进行融合，修正三维点云语义标记；根据所获取的三维语义点云地图，将三维语义点云数据表征为基于占据概率和语义信息的三维地图。本发明利用摄像机进行三维语义构图，包括多种道路目标场景分布；利用车载系统快速构建道路三维语义信息，满足实时存储的需求；利用地图压缩技术，与原有大体量的三维地图存储需求相比，只占用较小存储空间。

技术领域

本发明涉及道路信息采集和三维建模方法在车辆技术领域的应用，具体涉及一种面向道路场景的快速三维语义构图方法和高效存储方法。

背景技术

随着信息传感、计算机视觉技术的发展，通过采集道路场景数据进行地图构建，并用以辅助驾驶和无人驾驶等应用已成为日渐重要的研究和开发需求。

由于摄像机的造价相对较低且安装方便，以摄像机为核心传感器的车载系统有着广泛的应用。但是在道路三维地图构建方面，如何利用摄像机进行地图构建依然相对较少，并且由于构建三维地图往往需要大量计算以及存储空间，对于一般的车载系统来说负荷过大。另一方面，区别于激光传感器获得的点云数据，摄像机数据能够捕捉到更丰富的纹理信息，实现对道路场景的理解，包括可行使路面区域的分割，道路关键标志的识别，楼房树木等静态目标的识别等，为构建更为丰富表征的三维语义地图提供了可能。

发明内容

发明目的：为了解决现有技术中存在的问题，本发明的目的是提供一种利用车载摄像机构建三维语义地图，以实现为辅助驾驶和无人驾驶系统提供参考地图信息的面向道路场景的快速三维语义地图构建和高效存储方法。

技术方案：一种面向道路场景的快速三维语义地图构建和高效存储方法，包括以下步骤：

(1)使用传感器在移动过程中采集路况视频数据，使用同步定位和构图技术获取关键帧，计算位姿和逆深度图，构建半密集点云地图；利用语义分割模型从所获取的关键帧中提取语义标记；

(2)根据位姿信息、半密集点云地图数据和二维图像语义数据，利用二维到三维空间语义标记转换，并采用增量式标记融合技术将连续关键帧的语义标记数据进行融合，修正三维点云语义标记；

(3)根据所获取的三维语义点云地图，将三维语义点云数据表征为基于占据概率和语义信息的三维地图，可实现地图数据压缩，满足高效存储需求。

优选的，所述步骤(1)中，传感器为单目摄像头和/或双目摄像头；其次，实现语义分割的模型为基于可分离卷积核和特征金字塔组合的深度卷积神经网络，能够针对不低于1920x1080分辨率图片实现速度在80ms以内的语义分割功能实现。

进一步的，步骤(1)中，语义标记为静态目标标识，包含道路路面标记、建筑物标记、停放机动车辆标记、辅道标记、道路标识牌标记、路灯标记和树木植被标记。

关键帧定义为K_i＝{I_i,D_i,V_i,S_i}，包含图像信息逆深度图逆深度图方差以及语义分割信息其中，图像帧的所有像素点子集表示实数集。

优选的，所述步骤(2)中，采用基于贝叶斯概率的增量式方法实现二维到三维语义数据转换，计算方法如下：

其中，一个三维体素v_d的类别标记为l_k，表示为到t时刻所有捕捉到的关键帧集合，且结合连续关键帧的语义标记数据进行三维点云语义标记快速更新，提升语义标注的准确性。