[发明专利]一种生成任意帧率的三维网格模型序列的方法及装置

说明书

本发明提供了一种生成任意帧率的三维网格模型序列的方法及装置，属于三维计算机视觉领域，用于对稀疏的三维点云序列进行处理，得到该序列当中任意时刻所对应的三维网格模型，包括如下步骤：步骤S1，对预先获取的包括多个三维模型的三维模型数据集进行预处理得到训练样本；步骤S2，搭建三个三维点云特征提取网络；步骤S3，随机决定是否交换成对的三维点云序列的身份编码；步骤S4，搭建神经常微分方程网络；步骤S5，搭建深度解码网络；步骤S6，构建损失函数；步骤S7，基于损失函数对三维模型生成模型进行训练，步骤S8，将单个三维点云序列以及查询时刻T＝t输入训练完成的三维模型生成模型。

技术领域

本发明属于三维计算机视觉领域，具体涉及一种基于神经常微分方程的组合表示方法对稀疏的三维点云序列进行处理得到任意帧率的三维网格模型序列的方法及装置。

背景技术

形状表示是三维计算机视觉，尤其是在深度学习时代的核心主题之一。最近，深度隐式表示在重建精确的表面细节方面显示出令人鼓舞的能力。但是，我们人类生活在具有时间维度的四维世界中，并且我们每天看到的大多数对象和场景都在随时间移动或变形。许多现有的应用还需要机器能够理解或重建4D数据，例如自动驾驶，机器人技术，虚拟现实/增强现实等。但是，如何重建四维数据，即随时间变化的三维对象，仍然是一个有待解决的问题。

一些基于深度学习的三维重建算法可以比较直接地扩展到四维空间。例如，有一种点云生成模型可以从单张彩色图片重建物体表面的点云，针对该方法，可以将其扩展为预测多个三维点的轨迹而不是三维点的坐标，从而实现四维点云重建；或是使用神经网络来建模三维物体的隐式表面，通过在给定的体积内采样一些查询点，然后利用网络预测每个点位于物体内部的概率，最终通过表面提取算法得到三维网格模型。针对该方法，可以直接在四维空间中采样查询点，建模不同时刻所对应的表面。但是，上述方法都是在现有三维重建算法上的简单扩展，无法准确捕捉对象的运动信息。

另外有方法利用神经常微分方程构建速度场，对每个三维点在某一时刻的速度进行预测，然后使用常微分方程解决器求解三维点在每个时刻的位置。在推断时，先利用深度隐式表示重建第一帧的网格模型，然后，将该网格模型的每个点作为起点利用神经常微分方程直接对每个点的坐标进行变换，从而得到任意时刻对应的网格模型。但直接在三维空间对点进行变换，模型表达能力有限，导致重建对象的某些部分产生不合理的移动且缺少表面细节。

发明内容

为解决上述问题，提供一种生成任意帧率的三维网格模型序列的方法以及装置，本发明采用了如下技术方案：

本发明提供了一种生成任意帧率的三维网格模型序列的方法，用于对稀疏的三维点云序列进行处理，得到该序列当中任意时刻所对应的三维网格模型，其特征在于，包括如下步骤：步骤S1，对预先获取的包括多个三维模型的三维模型数据集进行预处理得到训练样本，训练样本包含成对的三维点云序列以及三维采样点位于三维模型的内部或外部的标签信息；步骤S2，搭建三个三维点云特征提取网络，分别对成对的三维点云序列提取初始姿态特征、全局几何特征以及全局运动特征，并分别表述为初始姿态编码、身份编码以及运动编码；步骤S3，随机决定是否交换成对的三维点云序列的身份编码；步骤S4，搭建神经常微分方程网络，将三维点云序列所对应的运动编码作为指导编码对初始姿态编码进行变换，得到查询时刻T＝t对应的姿态编码；步骤S5，搭建深度解码网络；步骤S6，构建损失函数；步骤S7，基于损失函数对由三维点云特征提取网络、神经常微分方程网络以及深度解码网络组成的三维模型生成模型进行训练得到训练完成的三维模型生成模型；步骤S8，将单个三维点云序列以及查询时刻T＝t输入训练完成的三维模型生成模型，利用预定的表面提取算法对三维表面隐函数提取表面，得到查询时刻T＝t对应的三维网格模型并输出，其中，查询时刻T＝t可以为指定时间范围内的任意标量值。

本发明提供的生成任意帧率的三维网格模型序列的方法，还可以具有这样的特征，其中，步骤S5中，建模三维表面隐函数，将三维点云序列所对应的T＝t时刻的姿态编码以及身份编码连接起来作为指导编码，对在指定体积内采样得到的三维点预测其位于三维模型的内部的概率从而建立深度解码网络。