[发明专利]三维人体重建方法、装置、设备及存储介质

说明书

本公开实施例提供一种三维人体重建方法、装置、设备及存储介质，其中，该方法可以包括：基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，得到目标人体的第一三维网格模型；基于由人体图像提取得到的图像特征进行三维人体重建，确定目标人体的第二三维网格模型；将第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型；根据初始三维模型和人体图像，进行人体纹理重建，得到带有纹理的三维人体模型。本公开实施例使得重建得到的三维人体模型既保证了人体身体形状的鲁棒性，又提高了人体区域的真实性和精确性。

技术领域

本公开涉及图像处理技术，具体涉及一种三维人体重建方法、装置、设备及存储介质。

背景技术

三维人体重建是计算机视觉与计算机图形学领域的重要问题。重建出来的人体数字模型在很多领域有着重要应用，如人体测量、虚拟试衣、虚拟主播、游戏角色自定义设计、虚拟现实社交等。其中，如何将真实世界中的人体投射到虚拟世界中得到三维人体数字模型是一种重要问题。然而，三维人体的数字化重建是很复杂的，需要扫描者围绕扫描目标进行多角度无死角的连续扫描；并且，重建效果仍然有待改善和提高。

发明内容

有鉴于此，本公开实施例至少提供一种三维人体重建方法、装置、设备及存储介质。

第一方面，提供一种三维人体重建方法，所述方法包括：

基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，得到所述目标人体的第一三维网格模型；

基于由所述目标人体的人体图像提取得到的图像特征进行三维人体重建，确定所述目标人体的第二三维网格模型；

将所述目标人体的第一三维网格模型和第二三维网格模型进行融合，得到初始三维模型；

根据所述初始三维模型和所述人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体对应的带有纹理的三维人体模型。

在一个例子中，所述人体图像是RGBD图像；所述基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，得到所述目标人体的第一三维网格模型，包括：基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，得到初始参数化模型；提取所述人体图像中的目标人体所在区域的深度信息；以及，识别所述目标人体在所述人体图像上的轮廓信息；基于所述深度信息和轮廓信息，对所述初始参数化模型进行几何形变，得到所述第一三维网格模型。

在一个例子中，所述目标人体的人体图像包括所述目标人体的正面人体图像和背面人体图像；所述基于目标人体的人体图像，对参数化人体模板的人体参数进行拟合，包括：基于所述正面人体图像对参数化人体模板的人体参数进行拟合，得到正面重建结果；以及，基于所述背面人体图像对参数化人体模板的人体参数进行拟合，得到背面重建结果；将所述正面重建结果和背面重建结果进行融合。

在一个例子中，所述目标人体的人体图像包括所述目标人体的正面人体图像和背面人体图像；所述根据所述初始三维模型和所述人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体对应的带有纹理的三维人体模型，包括：根据所述初始三维模型、以及所述目标人体的正面人体图像和背面人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体对应的带有纹理的三维人体模型。

在一个例子中，所述根据所述初始三维模型、以及所述目标人体的正面人体图像和背面人体图像，进行所述目标人体的人体纹理重建，得到所述目标人体对应的带有纹理的三维人体模型，包括：将所述正面人体图像和背面人体图像，映射至所述目标人体的初始三维模型，得到填充有纹理结构的所述目标人体的三维人体模型；所述初始三维模型是表示所述目标人体的几何形状的三维网格模型。