[发明专利]融合图像与激光点云的三维重建方法及装置

说明书

本发明提供一种融合图像与激光点云的三维重建方法及装置，包括：获取通过激光雷达扫描得到的点云数据、通过相机获取的图像数据、以及点云数据与图像数据的对应关系，其中，激光雷达与相机安装在同一移动设备上，且经过联合标定；基于点云数据，得到移动设备的第一位姿信息；将图像数据输入轻量化网络，通过轻量化网络输出深度特征图，基于深度特征图，得到移动设备的第二位姿信息；判断第一位姿信息是否可用；若是，基于第一位姿信息与对应关系，完成三维重建；否则，基于第二位姿信息与对应关系，完成三维重建。本申请用以解决现有技术中三维重建过程耗时长、效率低的问题，实现快速重建三维场景。

技术领域

本发明涉及计算机技术领域，尤其涉及一种融合图像与激光点云的三维重建方法及装置。

背景技术

同时定位与地图构建(Simultaneous Localization and Mapping，简称SLAM)技术逐渐突破了基于滤波器、小场景和像素匹配等传统计算方法的局限，向更加智能化的方向发展。目前SLAM技术依据传感器类型可分为激光雷达SLAM和视觉SLAM。激光雷达SLAM是利用激光雷达对目标对象进行实时的位姿计算，并生成密集点云，进行三维场景的快速重建，并支持增强现实的跟踪注册。视觉SLAM主要依赖于相机，价格低廉，而且易被部署在小型的智能移动终端，因此可被用在真正的跟踪注册任务中。

视觉SLAM利用提取的图像特征进行跟踪注册，在室内环境下具有较高的实时性和鲁棒性，位姿计算精度可达厘米级，且在已知和未知环境下都能够运行，具有较强的适用性。但是在户外场景下，视觉SLAM面临着光照变化、昼夜重定位难等问题，这些问题导致视觉SLAM的实时性、鲁棒性和位姿计算精度大大下降，制约着户外增强现实应用的发展。

随着深度学习的兴起和发展，深度局部特征表现出其出色的匹配能力，特别是在昼夜变化、季节变化等极端条件下，也能够提取到图像的深度局部特征。其中，提取深度局部特征的具体实现如下：

SuperPoint先在合成的数据集上训练MagicPoint网络，利用HomographicAdaptation技术提高MagicPoint的泛化能力，并用其推理产生的标签作为真实标签和单应变换技术来监督训练SuperPoint网络，它以整张图像为输入，同时输出图像关键点和局部描述子，产生的深度局部特征在光照变化的条件下也具有很强的匹配能力。D2-Net先利用CNN生成深度特征图，然后在深度特征图上执行深度局部特征检测任务，并将特征检测和描述符联合起来，设计联合损失函数进行训练，最终利用训练好的网络，提取深度局部特征。

但是，上述的深度局部特征的提取过程需要消耗大量的计算成本，使得深度局部特征的提取计算量大、耗时长、占用设备空间，进而导致整个三维重建过程耗时长、效率低等问题。

发明内容

本发明提供一种融合图像与激光点云的三维重建方法及装置，用以解决现有技术中三维重建过程耗时长、效率低的问题，实现快速重建三维场景。

本发明提供一种融合图像与激光点云的三维重建方法，包括：

获取通过激光雷达扫描得到的点云数据、通过相机获取的图像数据、以及所述点云数据与图像数据的对应关系，其中，所述激光雷达与所述相机安装在同一移动设备上，且经过联合标定；

基于所述点云数据，得到所述移动设备的第一位姿信息；将所述图像数据输入轻量化网络，通过所述轻量化网络输出深度特征图，基于所述深度特征图，得到所述移动设备的第二位姿信息，所述轻量化网络基于样本图像数据、教师网络、以及所述教师网络的输出结果训练得到；判断所述第一位姿信息是否可用；

若是，基于所述第一位姿信息与所述对应关系，完成三维重建；

否则，基于所述第二位姿信息与所述对应关系，完成三维重建。

根据本发明提供的一种融合图像与激光点云的三维重建方法，所述轻量化网络的构建过程，包括：