[发明专利]一种可驱动的隐式三维人体表示方法

说明书

本发明公开了一种可驱动的隐式三维人体表示方法，通过从输入的多视角视频中优化可驱动模型的三维表示进行动态重建。本发明提供的方法包括：构造用于表示动态人体的隐函数；提出用神经网络表示的神经蒙皮混合权重场，实现了在从视频中学习得到可驱动隐函数，从视频中优化得到可驱动三维模型的方法；本发明在每一视频帧学习一个神经蒙皮混合权重场，将每一视频帧的三维点变换回标准坐标系，以此整合了视频的时序信息，增加了对目标的观测，用于优化标准坐标系下的三维模型；本发明同时在标准坐标系下学习一个神经蒙皮混合权重场，使得三维模型可被驱动生成新姿势下的三维模型。

技术领域

本发明属于三维重建领域，尤其涉及到一种可驱动的隐式三维人体表示方法。

背景技术

本发明提出一个可驱动隐函数来表示动态人体，可以从多视角视频中重建可驱动三维模型，用于三维模型的生成和自由视角合成。在相关技术中，传统方法重建可驱动三维模型往往需要很高的成本和大量的时间。这些方法需要复杂硬件设备进行模型重建，后期需要设计师给三维模型绑定骨架进行操控并且设计蒙皮混合权重，需要大量的时间。近期一些工作将动态人体表示为基于神经网络的隐函数。但这些方法很难只从视频中优化得到最优的隐函数，需要额外的约束条件。而且这些方法无法得到可驱动的三维模型。本发明致力于提出新的动态人体表示方法，使得从视频中学习隐函数表示可解，并且可以输出可驱动三维模型。

发明内容

本发明目的在于针对现有技术的不足，提出了一种可驱动的隐式三维人体表示方法，基于可驱动隐函数来表示人体几何和外观，并通过可微分渲染重建这一动态人体表示。

本发明的目的是通过以下技术方案来实现的：一种可驱动的隐式三维人体表示方法，所述方法包括：

(1)在标准坐标系构造一个神经网络隐函数来表示人体几何和外观，在每一个视频帧坐标系用神经网络隐函数生成任意三维点的蒙皮混合权重，构造神经蒙皮混合权重场，将视频帧的三维点变换回标准坐标系，用于表示动态人体。

(2)在标准坐标系下学习神经蒙皮混合权重场，优化神经网络隐函数，使得标准坐标系下的神经网络隐函数可被驱动生成新状态下的三维人体；具体学习过程如下：

(2.1)基于可微分体积渲染器，将神经网络隐函数渲染为二维图像。通过最小化渲染后的二维图像和多视角视频中对应图像之间的误差，优化神经网络隐函数表示。

(2.2)最小化标准坐标系和视频帧坐标系对应三维点的蒙皮混合权重的差别，优化蒙皮混合权重的神经网络隐函数表示。

(3)基于步骤(2)优化后的神经网络隐函数，进行人体的三维模型生成和视角合成。

进一步地，将构造的神经蒙皮混合权重场与一组人体的三维关键点相结合，通过线性混合蒙皮算法将视频帧坐标系下的三维点变换回标准坐标系。

进一步地，在标准坐标系下学习完成神经蒙皮混合权重场之后，在给定一组新的人体的三维关键点时，标准坐标系的神经蒙皮混合权重场可以和关键点相结合，通过线性混合蒙皮算法变换标准坐标系的三维点，从而生成新状态下的三维人体。

进一步地，所述通过可微分体积渲染器将神经网络隐函数渲染为二维图片，包括：沿相机投射至像素的光线采样一组三维点，将三维点通过线性混合蒙皮算法变换回标准坐标系，使用神经网络隐函数计算三维点的体素密度和颜色，累积光线上的体积密度和颜色得到像素颜色。

进一步地，采样标准坐标系和视频帧坐标系的对应的三维点，计算相应的蒙皮混合权重，最小化两个三维点的蒙皮混合权重的差别，从而优化蒙皮混合权重的神经网络隐函数。

进一步地，所述三维模型生成使用Marching cubes算法从优化后的神经网络隐函数中提取三维网格模型，并根据线性混合蒙皮算法驱动三维网格模型。

进一步地，所述视角合成使用可微分体积渲染器得到二维图像实现。