[发明专利]融合图像与激光点云的三维重建方法及装置

权利要求书

1.一种融合图像与激光点云的三维重建方法，其特征在于，包括：

获取通过激光雷达扫描得到的点云数据、通过相机获取的图像数据、以及所述点云数据与图像数据的对应关系，其中，所述激光雷达与所述相机安装在同一移动设备上，且经过联合标定；

基于所述点云数据，得到所述移动设备的第一位姿信息；将所述图像数据输入轻量化网络，通过所述轻量化网络输出深度特征图，基于所述深度特征图，得到所述移动设备的第二位姿信息，所述轻量化网络通过知识蒸馏方法训练得到，其中，所述轻量化网络基于样本图像数据、教师网络、以及所述教师网络的输出结果训练得到；

判断所述第一位姿信息是否可用；

若是，基于所述第一位姿信息与所述对应关系，完成三维重建；

否则，基于所述第二位姿信息与所述对应关系，完成三维重建。

2.根据权利要求1所述的融合图像与激光点云的三维重建方法，其特征在于，所述轻量化网络的构建过程，包括：

创建初始轻量化网络，并将复杂神经网络作为所述教师网络，将所述初始轻量化网络作为学生网络；

获取所述样本图像数据；

利用所述知识蒸馏方法，对所述初始轻量化网络执行以下训练过程：

将所述样本图像数据输入到教师网络，通过所述教师网络输出第一样本深度特征图；将所述样本图像数据输入到学生网络，通过所述学生网络输出第二样本深度特征图；基于所述第一样本深度特征图和所述第二样本深度特征图，计算训练误差；比较所述训练误差和预设阈值，直至所述训练误差小于所述预设阈值时，判定所述初始轻量化网络训练完成；

将训练完成的所述初始轻量化网络，作为所述轻量化网络。

3.根据权利要求2所述的融合图像与激光点云的三维重建方法，其特征在于，所述基于所述第一样本深度特征图和所述第二样本深度特征图，计算训练误差，包括：

计算所述第一样本深度特征图与所述第二样本深度特征图的第一误差；

计算所述第二样本深度特征图与预设深度特征图的第二误差；

基于所述第一误差和所述第二误差，获得所述训练误差。

4.根据权利要求1-3任一项所述的融合图像与激光点云的三维重建方法，其特征在于，所述基于所述深度特征图，得到所述移动设备的第二位姿信息，包括：

将当前帧深度特征图输入至特征检测器，通过所述特征检测器输出深度特征点；

基于当前帧深度特征图，获取前N帧深度特征图作为局部窗口，所述N为大于或等于2的整数；

在所述局部窗口中，匹配当前帧深度特征图对应的深度特征点，与前N帧深度特征图对应的深度特征点，得到匹配成功的目标深度特征点；

基于所述目标深度特征点，确定所述第二位姿信息。

5.根据权利要求4所述的融合图像与激光点云的三维重建方法，其特征在于，所述基于所述深度特征图，得到所述移动设备的第二位姿信息之后，还包括：

利用光束法平差，对所述第二位姿信息进行处理。

6.根据权利要求1-3任一项所述的融合图像与激光点云的三维重建方法，其特征在于，判断所述第一位姿信息是否可用；若是，基于所述第一位姿信息与所述对应关系，完成三维重建；否则，基于所述第二位姿信息与所述对应关系，完成三维重建，包括：

基于所述第一位姿信息，拼接所述点云数据；

计算拼接后的点云数据与预设点云数据的拼接误差；

判断所述拼接误差是否小于预设拼接误差；

若是，判定所述第一位姿信息可用，基于所述第一位姿信息与所述对应关系，拼接所述点云数据和所述图像数据，以完成三维重建；

否则，判定所述第一位姿信息不可用，基于所述第二位姿信息与所述对应关系，拼接所述点云数据和所述图像数据，以完成三维重建。