[发明专利]重建模型的训练和三维模型重建方法、装置、设备及介质

说明书

本申请实施例公开了一种重建模型的训练和三维模型重建方法、装置、设备及存储介质，其中，所述方法包括：获取样本图像和所述样本图像对应的标准三维模型数据和标准投影图像；基于初始的重建模型，对所述样本图像中的待重建对象进行模型重建，得到重建三维模型数据和重建投影图像；基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练；响应于达到预设的收敛条件，输出训练后的重建模型。

技术领域

本申请涉及但不限于图像处理技术领域，尤其涉及一种重建模型的训练和三维模型重建方法、装置、设备及存储介质。

背景技术

相关技术中，三维模型已经应用于各种不同的领域。在医疗行业使用三维模型制作器官的精确模型；电影行业将三维模型用于活动的人物、物体以及现实电影；视频游戏产业将三维模型作为计算机与视频游戏中的资源；在科学领域将三维模型作为化合物的精确模型；建筑业将三维模型用来展示提议的建筑物或者风景表现；工程界将三维模型用于设计新设备、交通工具、结构以及其它应用领域。

根据二维（two-dimensional，2D）图像重建三维（three-dimensional，3D）模型是计算机视觉、图形学和机器学习交叉领域中研究最广泛、最深入的领域之一。因为除了其无数应用之外，它还展现了在3D对象的几何形状学习、推断和合成方面的最新发展力量。

发明内容

有鉴于此，本申请实施例至少提供一种重建模型的训练和三维模型重建方法、装置、设备、存储介质。

本申请实施例的技术方案是这样实现的：

一方面，本申请实施例提供一种重建模型的训练方法，所述方法包括：获取样本图像和所述样本图像对应的标准三维模型数据和标准投影图像；基于初始的重建模型，对所述样本图像中的待重建对象进行模型重建，得到重建三维模型数据和重建投影图像；基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练；响应于达到预设的收敛条件，输出训练后的重建模型。

在一些实施例中，所述重建模型包括特征提取网络、特征解耦网络、特征解码网络和二维图像投影网络；所述基于初始的重建模型，对所述样本图像中的待重建对象进行模型重建，得到重建三维模型数据和重建投影图像，包括：利用所述特征提取网络对样本图像进行特征提取，得到所述样本图像对应的公共特征向量；通过所述特征解耦网络对所述样本图像对应的公共特征向量进行解耦，得到所述样本图像对应的三维模型特征向量和二维图像特征向量；通过所述特征解码网络对三维模型特征向量进行解码，得到所述重建三维模型数据；通过所述二维图像投影网络对二维图像特征向量进行解码，得到所述重建投影图像。

在一些实施例中，所述三维模型特征向量包括材质特征向量和三维形状特征向量。

在一些实施例中，所述特征解码网络包括材质解码网络和三维形状解码网络；所述通过特征解码网络对三维模型特征向量进行解码，得到所述重建三维模型数据，包括：通过所述材质解码网络对所述材质特征向量进行解码，得到所述待重建对象的重建材质数据；通过所述三维形状解码网络对三维形状特征向量进行解码，得到所述待重建对象对应的重建三维形状数据。

在一些实施例中，所述基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练，包括：基于所述标准三维模型数据和所述重建三维模型数据确定三维模型损失值；基于所述标准投影图像和所述重建投影图像确定投影图像损失值；基于所述三维模型损失值和所述投影图像损失值确定综合损失值，并基于所述综合损失值对以下网络中至少之一的网络参数进行调整：所述特征解码网络、所述二维图像投影网络、所述特征提取网络和所述特征解耦网络。