[发明专利]生成点云数据的方法和装置

说明书

本发明公开了一种生成点云数据的方法和装置，涉及计算机技术领域。其中，该方法包括：从单帧图像中提取采样点；根据单视图深度图估计算法确定所述采样点的深度值；根据摄影几何中的点投影关系，将带有深度值的采样点和与所述单帧图像对应的GPS数据、IMU数据进行融合，以得到单帧点云；其中，所述单帧图像、GPS数据以及IMU数据是通过众包模式采集得到的。通过以上步骤，能够获取稠密均匀、不受环境影响的点云数据，同时降低数据采集成本，提高点云数据生成效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种生成点云数据的方法和装置。

背景技术

街景点云是现实街景在虚拟三维空间中映射的点集合，街景语义点云是指带街景语义标签的点云，即标识每个点云点属于树木、车辆、行人或建筑等。随着自动驾驶技术的推进，街景语义点云具有广泛的应用前景，例如引导无人车进行环境智能感知、辅助操纵人员制作高清地图、以及实现道路街景的仿真重构等。

目前，为了获取街景语义点云，首先需要获取街景点云，然后对街景点云进行语义解析。其中，街景点云获取方式包括：1)用激光雷达配合GPS进行同步定位和地图构建(SLAM,Simultaneous localization and mapping)；2)用图像/视频进行多视图几何重建(SFM,Structure from motion)。其中，SLAM方式是在每个采集点由激光雷达捕获点云，然后通过平移和旋转将点云投影到统一坐标系下，以完成点云拼合；SFM方式是从视频帧图像中检测出一些角点，然后跟踪或匹配角点，计算这些角点在虚拟空间下的三维投影点。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

第一、在SLAM方式中，需要车载系统搭建GPS和激光雷达，并对两者进行同步和标定，然后需要专业采集人员到指定场所(甚至外地)采集数据，再对各种数据进行处理。一方面，激光雷达导致设备搭建成本较高；另一方面，由于每个地段都需要专业的采集人员进行出行采集，导致自动化程度低和人力成本过高、数据采集的并行度不高、生成效率偏低等问题。

第二、在SFM方式中，数据源为摄像机采集的图像或视频，虽然能降低硬件成本，但该方法依赖角点提取和跟踪算法(例如KLT算法)，这些算法难于提取无纹理区域(例如道路面)的场景点，导致点云数量少、点云分布不均匀、对环境比较敏感等缺陷。

发明内容

有鉴于此，本发明提供一种生成点云数据的方法和装置，能够得到稠密均匀、不受环境影响的点云数据，同时降低数据采集成本，提高点云数据生成效率。

为实现上述目的，根据本发明的一个方面，提供了一种生成点云数据的方法。

本发明的生成点云数据的方法包括：从单帧图像中提取采样点；根据单视图深度图估计算法确定所述采样点的深度值；根据摄影几何中的点投影关系，将带有深度值的采样点和与所述单帧图像对应的GPS数据、IMU数据进行融合，以得到单帧点云；其中，所述单帧图像、GPS数据以及IMU数据是通过众包模式采集得到的。

可选地，所述方法还包括：确定所述单帧图像中每个采样点的语义标签，并将所述语义标签赋予所述单帧点云，以得到单帧语义点云。

可选地，所述语义标签包括：类别标签、物体编号；所述确定所述单帧图像中每个采样点的语义标签，并将所述语义标签赋予所述单帧点云，以得到单帧语义点云的步骤包括：根据场景分割算法确定单帧图像中每个采样点的类别标签；根据实例分割算法确定单帧图像中属于前景物体类别的采样点的物体编号；然后，根据光流跟踪算法对不同单帧图像中属于同一物体的采样点的物体编号进行归并处理；将所述类别标签和归并处理后的物体编号赋予所述单帧点云，以得到单帧语义点云。

可选地，所述方法还包括：根据所述单帧语义点云对语义点云库进行检索，并根据检索结果对语义点云库进行更新。