[发明专利]基于三维重建的模型训练方法、三维重建方法及装置

说明书

本公开提供了一种基于三维重建的模型训练方法、三维重建方法、装置、电子设备、计算机可读存储介质，涉及深度学习技术领域。该方法包括：获取至少一初始图像，以及每个初始图像对应的位姿与稀疏点云；获取预先构建的初始网络模型，由初始网络模型基于稀疏点云，确定至少一初始图像对应的实际深度值；基于实际深度值与位姿，确定初始图像的稠密深度图；基于实际深度值与稠密深度图的深度值，确定初始网络模型对应的目标损失函数；基于目标损失函数对初始网络模型进行模型训练，得到三维重建模型。本公开可以无需基于图像的深度真值训练三维重建网络，解决了获取训练数据深度真值成本过高的问题，大大降低了三维真值数据获取的成本。

技术领域

本公开涉及深度学习技术领域，尤其涉及一种基于三维重建的模型训练方法、三维重建方法、基于三维重建的模型训练装置、三维重建装置、电子设备与计算机可读存储介质。

背景技术

三维重建是指对三维物体建立适合计算机表示和处理的数学模型。三维重建技术可用于场景的三维重建、各类增强现实技术(Augmented Reality，AR)/虚拟现实技术(Virtual Reality，VR)应用、房屋户型重建与展示、物品(Three Dimensions，3D)展示、自动驾驶、无人机和环境感知等领域。

在当前的稠密重建技术中，基于深度学习的重建方法效果较好。但深度学习是一种数据驱动的方法，需要大量带3D真值的训练数据进行训练，才能得到较好的重建效果。然而，3D真值数据的获取是一件难度很大的事，其采集、标注成本远远高于2D图像任务的真值。另外，采集室外场景的稠密3D真值几乎是不可能的，即使使用激光雷达，也只能得到稀疏的3D真值，不满足三维重建网络的训练要求。以上技术问题限制了该项技术的训练门槛，且由于所见的数据集太少，使网络的泛化性较差。

发明内容

本公开提供一种基于三维重建的模型训练方法、装置、电子设备与计算机可读存储介质，以至少解决相关技术中三维重建网络需要使用大量带3D真值的训练数据进行训练，然而3D真值采集和标注成本较高导致数据集太少，使网络的泛化性较差的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种基于三维重建的模型训练方法，包括：获取至少一初始图像，以及每个所述初始图像对应的位姿与稀疏点云；获取预先构建的初始网络模型，由所述初始网络模型基于所述初始图像与所述初始图像的稀疏点云，确定所述初始图像的稀疏点云对应的至少一实际深度值；由所述初始网络模型基于所述实际深度值与所述初始图像的位姿，确定所述初始图像的稠密深度图；基于所述实际深度值与所述稠密深度图的深度值，确定所述初始网络模型对应的目标损失函数；基于所述目标损失函数对所述初始网络模型进行模型训练，得到三维重建模型。

在本公开的一种示例性实施例中，所述由所述初始网络模型基于所述初始图像与所述初始图像的稀疏点云，确定所述初始图像的稀疏点云对应的至少一实际深度值，包括：通过所述初始网络模型将所述稀疏点云投影至所述初始图像上，得到所述初始图像对应的稀疏深度图；基于所述稀疏深度图，确定所述初始图像对应的最大深度值与最小深度值；基于所述最大深度值与所述最小深度值生成深度区间；获取深度划分数量，基于所述深度划分数量对所述深度区间进行划分处理，得到所述初始图像对应的多个实际深度值。

在本公开的一种示例性实施例中，所述由所述初始网络模型基于所述实际深度值与所述初始图像的位姿，确定所述初始图像的稠密深度图，包括：由所述初始网络模型对至少一所述初始图像进行第一特征提取，得到各所述初始图像对应的特征向量；针对各所述实际深度值，基于至少一所述初始图像的位姿，分别对所述特征向量进行投影处理，得到三维投影特征；基于所述三维投影特征生成所述初始图像对应的代价体；基于所述代价体生成所述初始图像的稠密深度图。