[发明专利]一种基于单视频摄像机的面部特征点跟踪和人脸动画方法

权利要求书

1.一种基于单视频摄像机的面部特征点跟踪和人脸动画方法，其特征在于，包括以下步骤：

（1）通用回归器的训练：基于网络上已经公布的人脸图像数据库，对每张图片进行手工标定二维特征点，然后结合三维人脸表情模型数据库得到相应的形状矢量；基于图像和对应的形状矢量，构造相应的训练数据集，训练得到DDE模型回归器；

（2）形状矢量的回归：利用步骤1中得到的DDE模型回归器，对于输入的人脸图像回归计算得到相应的形状矢量，包括三维动态表情参数和二维特征点偏移量，并以此计算图像中人脸面部特征点的二维位置；

（3）形状矢量的后处理：对步骤2中得到的形状矢量进行后处理，使得三维动态表情参数满足一定的条件约束；

（4）全局参数更新：结合步骤2中得到的特征点二维位置和步骤3中后处理的形状矢量，更新系统的全局参数，包括用户表情融合模型和摄像机参数；

（5）虚拟替身驱动：将步骤3中得到的三维动态表情参数映射到虚拟替身上，驱动动画角色进行人脸动画。

2.根据权利要求1所述基于单视频摄像机的面部特征点跟踪和人脸动画方法，其特征在于，所述步骤1包括以下子步骤：

（1.1）收集网络上公开的人脸图像数据库，包括FaceWarehouse，LFW和GTAV三个数据库；

（1.2）利用二维特征点回归器对每张图像进行自动的二维特征点标定，对自动标定结果中不满意的部分，对其进行简单的人工拖拽操作以修复；

（1.3）结合FaceWarehouse数据库中的三维人脸表情模型，对每张标定后的图像进行拟合，计算相应的刚性参数、个体参数、表情系数和二维特征偏移量，组成相应的形状矢量，作为原始训练形状矢量集；

（1.4）基于步骤1.3得到的原始训练形状矢量集，构造相应的训练数据集；

（1.5）基于步骤1.4得到的训练数据集，训练得到一个DDE模型回归器。

3.根据权利要求2所述基于单视频摄像机的面部特征点跟踪和人脸动画方法，其特征在于，所述步骤2包括以下子步骤：

（2.1）固定系统全局参数，包括用户的表情融合模型和摄像机参数；

（2.2）运行时，对于第一帧图像，使用人脸检测算法检测人脸位置，然后利用通用的二维特征点回归器得到该帧图像的二维特征点，结合固定的全局参数，拟合形状矢量作为猜测矢量；对于其他帧的图像，则选取上一帧的形状矢量作为猜测矢量；

（2.3）基于步骤2.2中得到的猜测矢量，从原始训练形状矢量集找到若干个近似的形状矢量，作为初始化矢量；

（2.4）基于步骤2.3中选取的每个初始化矢量和当前帧图像，利用权利要求2中得到的DDE模型回归器，回归计算得到相应的形状矢量；

（2.5）对步骤2.4中得到的不同形状矢量，取均值操作，作为最终的形状矢量；

（2.6）基于步骤2.5中得到的形状矢量，包括三维动态表情参数和二维特征点偏移量，计算图像中人脸面部特征的二维位置。

4.根据权利要求3所述基于单视频摄像机的面部特征点跟踪和人脸动画方法，其特征在于，所述步骤3包括以下子步骤：

（3.1）基于权利要求3中得到的形状矢量和面部二维特征点位置，建立能量方程；

（3.2）利用梯度下降算法最小化步骤3.1中建立的能量方程，将三维动态表情参数中的表情系数限制在0到1之间，得到后处理的形状矢量。

5.根据权利要求4所述基于单视频摄像机的面部特征点跟踪和人脸动画方法，其特征在于，所述步骤4包括以下子步骤：

（4.1）运行时，经过权利要求3和4中描述的处理过程，得到每一帧图像对应的形状矢量，有选择性的从拍摄到的视频序列中选择有代表性的帧及其相应的形状矢量，加入代表帧集合中；

（4.2）基于步骤4.1中选择的帧和其对应的形状矢量，构造能量方程，联合优化全局参数，包括用户的表情融合模型和摄像机参数；

（4.3）基于优化后的全局参数，更新代表帧集合中的每一帧的形状矢量；

（4.4）在步骤4.1中，每当一个新的帧被加入代表帧集合，执行步骤4.2和步骤4.3，更新全局参数。

6.根据权利要求5所述基于单视频摄像机的面部特征点跟踪和人脸动画方法，其特征在于，所述步骤5包括以下子步骤：

（5.1）基于权利要求4中后处理后的形状矢量，将其中三维动态表情参数中的表情系数映射到虚拟替身中，得到动画角色的相应表情；

（5.2）基于权利要求4中后处理后的形状矢量，将其中三维动态表情参数中的刚性参数映射到虚拟替身上，得到相应的姿势。