[发明专利]一种基于单视频摄像机的面部特征点跟踪和人脸动画方法

摘要

本发明公开了一种基于单视频摄像机的面部特征点跟踪和人脸动画方法，包括以下步骤基于已公布的人脸图像数据库，创建回归器训练集，以此作为输入训练得到一个DDE模型回归器；利用该回归器，对于输入的图像回归计算得到相应的形状矢量，并依此计算图像中面部特征点的二维位置；对形状矢量进行后处理，使得其中表情系数满足一定约束；结合特征点二维位置和后处理的形状矢量更新全局参数；将得到的三维动态表情参数映射到虚拟替身上，驱动动画角色进行人脸动画。本发明面向通用用户，不需要对特定用户进行任何预处理工作，新用户可以直接使用系统；本发明可以更好的处理快速运动、大幅度平移和旋转，可以更好的应对剧烈的光照变化。

主权项

一种基于单视频摄像机的面部特征点跟踪和人脸动画方法，其特征在于，包括以下步骤：(1)通用回归器的训练：基于网络上已经公布的人脸图像数据库，对每张图像进行手工标定二维特征点，然后结合三维人脸表情模型数据库得到相应的形状矢量；基于图像和对应的形状矢量，构造相应的训练数据集，训练得到DDE模型回归器；(2)形状矢量的回归：利用步骤1中得到的DDE模型回归器，对于输入的人脸图像回归计算得到相应的形状矢量，包括三维动态表情参数和二维特征点偏移量，并以此计算图像中人脸面部特征点的二维位置；(3)形状矢量的后处理：对步骤2中得到的形状矢量进行后处理，使得三维动态表情参数的范围处于0到1之间；(4)全局参数更新：结合步骤2中得到的特征点二维位置和步骤3中后处理的形状矢量，更新系统的全局参数，包括用户表情融合模型和摄像机参数；(5)虚拟替身驱动：将步骤3中得到的三维动态表情参数映射到虚拟替身上，驱动动画角色进行人脸动画。