[发明专利]一种基于单视角视频的动态头发建模方法

说明书

本发明公开了一种基于深度神经网络的单目动态头发建模方法，该方法将包含头发运动的视频通过预处理得到的二维信息序列，利用两个深度神经网络分别得到三维空间中头发的方向场和前后向运动场，再使用相邻帧间的信息以及头发生长算法进行迭代优化，得到与输入视频对应的连续动态变化的头发模型。本发明是第一个应用深度学习技术解决基于单视角视频的动态头发建模问题的方法，可以从单视角视频中建模出高质量的三维头发运动模型。

技术领域

本发明属于计算机图形学领域，尤其涉及一种基于神经网络单视角动态头发建模方法。

背景技术

三维头发建模一直都是图形学领域的一个重要问题。图形学领域已经有很多高质量的基于图片的静态头发建模技术(M.Chai et al.AutoHair:Fully Automatic HairModeling from a single portrait photo TOG 2016)。当前最好的基于视频的动态头发建模方法由Z.Xu et al.提出(Dynamic Hair Capture Using Spacetime OptimizationTOG 2014)，但是该技术需要多视角的相机以及光源阵列，成本较高。而另一个轻量级的基于单视频动态头发建模技术(M.Chai et al.Dynamic Hair Manipulation in Images andVideos TOG 2013)则是通过先建立头发的静态模型再进行变形得到动态模型，因而无法得到稳定的结果，只适用于简单的发型和动作。本发明是第一个应用深度学习技术解决基于单视角视频的动态头发建模问题的方法，并且对于现实拍摄的头发视频能够给出合理的建模结果。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于单视角视频的动态头发建模技术。

本发明是通过以下技术方案来实现的，一种基于单视角视频的动态头发建模方法，包括以下步骤：

步骤一：将含有运动头发的单视角视频通过人脸关键点匹配算法获得每一帧的头部位姿，结合人头模型得到二维深度图序列；将视频通过头发检测算法，得到每一帧的二维头发生长方向图、二维头发置信图。

步骤二：将步骤一得到的二维深度图序列、二维头发生长方向图、二维头发置信图分别通过两个训练好的深度神经网络，得到对应的三维信息；其中，两个训练好的深度神经网络分别为空间网络和时间网络，空间网络用于得到每一帧头发的三维掩码以及头发空间生长方向，而时间网络则用于得到每一帧头发所在空间相对于上一帧以及下一帧对应空间的偏移量。

步骤三：对于每一帧的头发三维掩码以及头发空间生长方向，利用头发生长算法以及相邻帧间的偏移量获得头发估计并迭代优化得到每一帧的头发。

进一步地，所述步骤二具体为：

(2.1)构建和训练空间网络：所述空间网络由降采样部分，中间连接部分和升采样部分以及一个判别器网络构成。降采样部分由四个卷积层构成，每个卷积层之后都进行最大值池化；升采样部分由四个升采样反卷积网络层构成。中间连接部分是由2D转3D的可学习模块toVoxel承接；空间网络使用USC-HairSalon数据集的343个静态发型以及动态数据集进行训练；其中，三维掩码训练的损失函数为二元交叉熵，头发空间生长方向训练的损失函数为L1损失函数；

(2.2)构建和训练时间网络：所述时间网络由降采样部分，中间连接部分和升采样部分构成。降采样部分由四个卷积层构成，每个卷积层之后都进行最大值池化；升采样部分由四个升采样反卷积网络层构成。中间连接部分由可学习模块toVoxel承接。时间网络利用三个发型通过仿真系统得到动态数据后进行训练，训练的损失函数采用L1损失函数；

进一步地，所述步骤三通过以下子步骤来实现：

(3.1)基于步骤二得到的每一帧的头发空间生长方向，使用头发生长算法得到每一帧的初始头发估计；