[发明专利]一种基于单视角视频的动态头发建模方法

权利要求书

1.一种基于单视角视频的动态头发建模方法，其特征在于，包括以下步骤：

步骤一：将含有运动头发的单视角视频通过人脸关键点匹配算法获得每一帧的头部位姿，结合人头模型得到二维深度图序列；将视频通过头发检测算法，得到每一帧的二维头发生长方向图、二维头发置信图。

步骤二：将步骤一得到的二维深度图序列、二维头发生长方向图、二维头发置信图分别通过两个训练好的深度神经网络，得到对应的三维信息；其中，两个训练好的深度神经网络分别为空间网络和时间网络，空间网络用于得到每一帧头发的三维掩码以及头发空间生长方向，而时间网络则用于得到每一帧头发所在空间相对于上一帧以及下一帧对应空间的偏移量。

步骤三：对于每一帧的头发三维掩码以及头发空间生长方向，利用头发生长算法以及相邻帧间的偏移量获得头发估计并迭代优化得到每一帧的头发。

2.根据权利要求1所述的基于单视角视频的动态头发建模方法，其特征在于，所述步骤二具体为：

(2.1)构建和训练空间网络：所述空间网络由降采样部分，中间连接部分和升采样部分以及一个判别器网络构成。降采样部分由四个卷积层构成，每个卷积层之后都进行最大值池化；升采样部分由四个升采样反卷积网络层构成。中间连接部分是由2D转3D的可学习模块toVoxel承接；空间网络使用USC-HairSalon数据集的343个静态发型以及动态数据集进行训练；其中，三维掩码训练的损失函数为二元交叉熵，头发空间生长方向训练的损失函数为L1损失函数；

(2.2)构建和训练时间网络：所述时间网络由降采样部分，中间连接部分和升采样部分构成。降采样部分由四个卷积层构成，每个卷积层之后都进行最大值池化；升采样部分由四个升采样反卷积网络层构成。中间连接部分由可学习模块toVoxel承接。时间网络利用三个发型通过仿真系统得到动态数据后进行训练，训练的损失函数采用L1损失函数。

3.根据权利要求1所述的基于单视角视频的动态头发建模方法，其特征在于，所述步骤三通过以下子步骤来实现：

(3.1)基于步骤二得到的每一帧的头发空间生长方向，使用头发生长算法得到每一帧的初始头发估计；

(3.2)当前帧的初始头发估计、以及相邻帧的初始头发估计结合步骤二得到的相邻帧间的偏移量得到当前帧的头发的多个估计，求带权平均值，得到当前帧头发的新的估计；

(3.3)基于步骤3.2得到的头发的估计，根据步骤二得到的头发空间生长方向进行局部约束优化；

(3.4)迭代步骤3.2和步骤3.3；迭代多次后得到每一帧的头发。