[发明专利]一种可驱动的隐式三维人体表示方法

权利要求书

1.一种可驱动的隐式三维人体表示方法，其特征在于，所述方法包括：

(1)在标准坐标系构造一个神经网络隐函数来表示人体几何和外观，在每一个视频帧坐标系用神经网络隐函数生成任意三维点的蒙皮混合权重，构造神经蒙皮混合权重场，将视频帧的三维点变换回标准坐标系，用于表示动态人体；具体过程为：

基于标准坐标系下的模型和视频帧坐标系的蒙皮混合权重场来表示动态人体；标准坐标系中的模型具体使用连续的体素密度和颜色来表示，其中体素密度场和颜色场由多层感知机网络实现；对于多视角视频中的特定帧的任意三维点，使用一个视频帧坐标系到标准坐标系的变形场将三维点映射到标准坐标系，再经过多层感知机网络预测体素密度和颜色；

构造变形场的具体步骤为：

人体由人体骨架驱动运动，有K个身体部位，生成K个变换矩阵；在线性混合蒙皮算法中，标准坐标系下的三维点v由下面的公式变换为某一视频帧的坐标系的三维点v′：

其中w(v)_k是第k个身体部位的蒙皮混合权重，G_k是第k个身体部位的变换矩阵；如果对于某一视频帧的坐标系下的三维点x，如果知道该三维点对应的蒙皮混合权重，用下面的公式变换为标准坐标系下的三维点x′：

其中w^o(x)_k是定义在视频帧坐标系下的蒙皮混合权重，G_k是第k个身体部位的变换矩阵；

(2)在标准坐标系下学习神经蒙皮混合权重场，优化神经网络隐函数，使得标准坐标系下的神经网络隐函数可被驱动生成新状态下的三维人体；具体学习过程如下：

(2.1)基于可微分体积渲染器，将神经网络隐函数渲染为二维图像；通过最小化渲染后的二维图像和多视角视频中对应图像之间的误差，优化神经网络隐函数表示；

(2.2)最小化标准坐标系和视频帧坐标系对应三维点的蒙皮混合权重的差别，优化蒙皮混合权重的神经网络隐函数表示；

(3)基于步骤(2)优化后的神经网络隐函数，进行人体的三维模型生成和视角合成。

2.根据权利要求1所述的一种可驱动的隐式三维人体表示方法，其特征在于，步骤(1)中，将构造的神经蒙皮混合权重场与一组人体的三维关键点相结合，通过线性混合蒙皮算法将视频帧坐标系下的三维点变换回标准坐标系。

3.根据权利要求1所述的一种可驱动的隐式三维人体表示方法，其特征在于，步骤(2)中，在标准坐标系下学习完成神经蒙皮混合权重场之后，在给定一组新的人体的三维关键点时，标准坐标系的神经蒙皮混合权重场可以和关键点相结合，通过线性混合蒙皮算法变换标准坐标系的三维点，从而生成新状态下的三维人体。

4.根据权利要求1所述的一种可驱动的隐式三维人体表示方法，其特征在于，步骤(2.1)中，所述通过可微分体积渲染器将神经网络隐函数渲染为二维图片，包括：沿相机投射至像素的光线采样一组三维点，将三维点通过线性混合蒙皮算法变换回标准坐标系，使用神经网络隐函数计算三维点的体素密度和颜色，累积光线上的体积密度和颜色得到像素颜色。

5.根据权利要求1所述的一种可驱动的隐式三维人体表示方法，其特征在于，步骤(2.2)中，采样标准坐标系和视频帧坐标系的对应的三维点，计算相应的蒙皮混合权重，最小化两个三维点的蒙皮混合权重的差别，从而优化蒙皮混合权重的神经网络隐函数。

6.根据权利要求1所述的一种可驱动的隐式三维人体表示方法，其特征在于，步骤(3)中，所述三维模型生成使用Marching cubes算法从优化后的神经网络隐函数中提取三维网格模型，并根据线性混合蒙皮算法驱动三维网格模型。

7.根据权利要求1所述的一种可驱动的隐式三维人体表示方法，其特征在于，步骤(3)中，所述视角合成使用可微分体积渲染器得到二维图像实现。