[发明专利]三维虚拟模型重建方法、装置、计算机设备和存储介质

权利要求书

1.一种三维虚拟模型重建方法，其特征在于，所述方法包括：

获取目标对象的图像，所述目标对象具有活动的肢体；

对所述图像进行特征提取，并对提取的特征进行图卷积处理，得到不同尺度的点云坐标；

根据所述不同尺度的点云坐标生成所述目标对象的三维参数；

基于所述目标对象的三维参数，重建所述目标对象的三维虚拟模型；所述三维虚拟模型具有与所述图像中的所述目标对象相匹配的肢体形态。

2.根据权利要求1所述的方法，其特征在于，所述对所述图像进行特征提取，并对提取的特征进行图卷积处理，得到不同尺度的点云坐标，包括：

通过重建网络的特征提取层对所述图像进行特征提取，得到对应的特征图；

通过所述重建网络的图卷积层对所述特征图进行图卷积处理，得到不同尺度的点云特征；

通过所述图卷积层对所述不同尺度的点云特征进行回归处理，得到不同尺度的点云坐标。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

基于所述不同尺度的点云坐标确定所述图像对应的相机参数；

根据所述图像对应的相机参数，将所述三维虚拟模型投影为二维图像。

4.根据权利要求1所述的方法，其特征在于，所述获取目标对象的图像，包括：获取目标对象的视频中包含所述目标对象的图像；

所述方法还包括：

将所述三维虚拟模型投影到所述图像中，以替换所述图像中的所述目标对象；

基于所述视频中各帧替换所述目标对象后的图像生成目标视频。

5.根据权利要求1所述的方法，其特征在于，所述获取目标对象的图像，包括：

获取目标对象的视频中包含所述目标对象的每帧图像；

所述基于所述目标对象的三维参数，重建所述目标对象的三维虚拟模型；所述三维虚拟模型具有与所述图像中的所述目标对象相匹配的肢体形态，包括：

基于所述每帧图像中的所述目标对象的三维参数，生成三维参数序列；

根据所述三维参数序列，生成所述目标对象对应的三维虚拟模型序列；所述三维虚拟模型序列中的三维虚拟模型，具有与对应图像中的所述目标对象相匹配的肢体形态。

6.根据权利要求5所述的方法，其特征在于，在所述生成各帧所述图像中的所述目标对象对应的三维参数序列之后，所述方法还包括：

获取各帧所述图像在所述视频中对应的时刻，得到时间序列；

根据所述时间序列对所述三维参数序列进行滤波处理，得到滤波后的三维参数序列；

所述根据所述三维参数序列，生成所述目标对象对应的三维虚拟模型序列，包括：

根据滤波后的三维参数序列，生成所述目标对象对应的三维虚拟模型序列。

7.一种重建网络的训练方法，其特征在于，所述方法包括：

获取第一对象的第一训练图像；所述第一对象具有活动的肢体；

通过待训练的重建网络对所述第一训练图像进行特征提取，并对提取的特征进行图卷积处理，得到不同尺度的点云坐标；

基于所述不同尺度的点云坐标生成所述第一对象的预测三维参数；

根据所述不同尺度的点云坐标和所述预测三维参数构建目标损失函数；

基于所述目标损失函数对所述待训练的重建网络进行训练，当满足训练停止条件时得到训练好的重建网络；所述训练好的重建网络，用于将图像中具有活动肢体的对象重建为与所述对象具有匹配的肢体形态的三维虚拟模型。

8.根据权利要求7所述的方法，其特征在于，所述根据所述不同尺度的点云坐标和所述预测三维参数构建目标损失函数，包括：

获取点云标签，根据所述不同尺度的点云坐标和对应尺度的点云标签构建第一损失函数；

获取所述第一训练图像对应的第一三维标签，根据所述预测三维参数和所述第一三维标签构建第二损失函数；

根据所述第一损失函数和所述第二损失函数构建目标损失函数。