[发明专利]图像重建网络模型的训练方法、装置和电子设备

说明书

本公开实施例公开一种图像重建网络模型的训练方法、装置和电子设备。其中，该图像重建网络模型的训练方法包括：获取待训练图像重建网络模型的初始参数；获取样本图像对，其中所述样本图像对中包括三维图像以及与所述三维图像对应的二维图像，其中所述三维图像由第一向量表示；通过所述图像重建网络模型将所述二维图像转换为第二向量；计算所述第二向量与所述第一向量之间的误差；基于所述误差对所述图像重建网络模型的参数进行调整。本公开通过将二维图像转换成一个能够表示三维图像顶点的向量并通过真实的三维图像的顶点的向量作监督以训练出能够从单张二维图像中重建三维图像的模型，解决了现有技术中三维物体重建时依赖中间结果的技术问题。

技术领域

本公开涉及图像处理领域，特别是涉及一种图像重建网络模型的训练方法、装置和电子设备。

背景技术

当前，随着计算机技术的不断进步和多媒体技术的发展，三维重建技术近年来成为了图形学领域的一个研究热点。其间接方法是指由一张或多张二维图像重建三维对象，包括基于统计模型的三维对象重建、基于多视几何的三维对象重建、基于光照立体的三维对象重建，以及近年来迅速发展起来的基于机器学习的三维对象重建。

现有的多种基于SMPL(A Skinned Multi-Person Linear Model)模型的三维人体重建方法，例如SMPLify，这些方法通常依赖于中间结果，例如2D或3D关键点估计或轮廓图。因此，这些方法并不能直接生成三维人体图像，并且如果中间结果不准确，会导致最终生成的图像偏差很大。

发明内容

根据本公开的第一方面，提供以下技术方案：

一种图像重建网络模型的训练方法，包括：

获取待训练图像重建网络模型的初始参数；

获取样本图像对，其中所述样本图像对中包括三维图像以及与所述三维图像对应的二维图像，其中所述三维图像由第一向量表示，所述第一向量中的元素表示所述三维图像中的顶点的坐标；

通过所述图像重建网络模型将所述二维图像转换为第二向量，其中所述第二向量的元素个数与所述第一向量的元素个数相同；

计算所述第二向量与所述第一向量之间的误差；

基于所述误差对所述图像重建网络模型的参数进行调整。

根据本公开的第二方面，提供以下技术方案：

一种图像重建方法，包括：

获取待重建的二维图像；

将所述待重建的二维图像输入图像重建网络模型，其中所述图像重建网络模型为根据上述第一方面的方法训练得到的模型；

获取所述图像重建网络模型输出的第四向量，其中所述第四向量中的每个元素表示所述二维图像所对应的三维图像中的顶点；

获取所述三维图像的网格表，所述网格表中包括所述顶点的连接关系；

根据所述第四向量以及所述网格表生成所述二维图像所对应的三维图像。

根据本公开的第三方面，还提供以下技术方案：

一种图像重建网络模型的训练装置，包括：

初始参数获取模块，用于获取待训练图像重建网络模型的初始参数；

样本获取模块，用于获取样本图像对，其中所述样本图像对中包括三维图像以及与所述三维图像对应的二维图像，其中所述三维图像由第一向量表示，所述第一向量中的元素表示所述三维图像中的顶点的坐标；

二维图像转换模块，用于通过所述图像重建网络模型将所述二维图像转换为第二向量，其中所述第二向量的元素个数与所述第一向量的元素个数相同；