[发明专利]一种生成任意帧率的三维网格模型序列的方法及装置

权利要求书

1.一种生成任意帧率的三维网格模型序列的方法，用于对稀疏的三维点云序列进行处理，得到该序列当中任意时刻所对应的三维网格模型，其特征在于，包括如下步骤：

步骤S1，对预先获取的包括多个三维模型的三维模型数据集进行预处理得到训练样本，所述训练样本包含成对的三维点云序列以及三维采样点位于所述三维模型的内部或外部的标签信息；

步骤S2，搭建三个三维点云特征提取网络，分别对成对的所述三维点云序列提取初始姿态特征、全局几何特征以及全局运动特征，并分别表述为初始姿态编码、身份编码以及运动编码；

步骤S3，随机决定是否交换成对的所述三维点云序列的所述身份编码；

步骤S4，搭建神经常微分方程网络，将所述三维点云序列所对应的所述运动编码作为指导编码对所述初始姿态编码进行变换，得到查询时刻T=t对应的姿态编码；

步骤S5，搭建深度解码网络；

步骤S6，构建损失函数；

步骤S7，基于所述损失函数对由所述三维点云特征提取网络、所述神经常微分方程网络以及所述深度解码网络组成的三维模型生成模型进行训练得到训练完成的所述三维模型生成模型；

步骤S8，将单个所述三维点云序列以及所述查询时刻T=t输入训练完成的所述三维模型生成模型，利用预定的表面提取算法对三维表面隐函数提取表面，得到所述查询时刻T=t对应的三维网格模型并输出，

其中，所述查询时刻T=t为指定时间范围内的任意标量值。

2.根据权利要求1所述的生成任意帧率的三维网格模型序列的方法，其特征在于：

其中，所述步骤S5中，建模三维表面隐函数，将所述三维点云序列所对应的T=t时刻的所述姿态编码以及身份编码连接起来作为指导编码，对在指定体积内采样得到的三维点预测其位于所述三维模型的内部的概率从而建立所述深度解码网络。

3.根据权利要求1所述的生成任意帧率的三维网格模型序列的方法，其特征在于：

其中，所述步骤S5中，利用经典的SMPL人体参数化模型，以所述姿态编码和所述身份编码作为输入得到对应的网格顶点坐标从而建立所述深度解码网络。

4.根据权利要求1所述的生成任意帧率的三维网格模型序列的方法，其特征在于：

其中，所述三个三维点云特征提取网络分别为初始姿态特征提取网络，全局几何特征提取网络以及全局运动特征提取网络,

所述初始姿态特征提取网络、所述全局几何特征提取网络以及所述全局运动特征提取网络均由五个级联的残差块组成，

五个所述残差块中，前四个所述残差块包括两层全连接层、一个最大池化层以及一个扩展连接操作，最后一个所述残差块包括三层全连接层以及一个最大池化层，

所述全局几何特征提取网络和初始姿态提取网络对所述三维点云序列的第一帧点云提取全局几何特征以及所述初始姿态特征，

所述全局运动特征提取网络对整个所述三维点云序列提取所述全局运动特征。

5.根据权利要求4所述的生成任意帧率的三维网格模型序列的方法，其特征在于：

其中，所述残差块的所述扩展连接操作为将所述最大池化层输出的特征复制N倍，再将复制后的所述特征与所述最大池化层的输入在特征维度进行连接，

N为输入的所述三维点云序列的点数。

6.根据权利要求1所述的生成任意帧率的三维网格模型序列的方法，其特征在于：

其中，所述神经常微分方程网络包括向量场网络以及预定的常微分方程解决器，

所述向量场网络由五个级联的包含两层全连接层的残差块组成。

7.根据权利要求2所述的生成任意帧率的三维网格模型序列的方法，其特征在于：

其中，步骤S5中，所述深度解码网络由五个级联的包含两层全连接层的残差块组成，

所述采样得到的三维点为训练样本的采样点。