[发明专利]一种视频驱动的人脸动画生成方法

权利要求书

1.一种视频驱动的人脸动画生成方法，其特征在于，包括下列步骤：

1)从视频的人脸图像中提取所述视频的语义特征向量，所述语义特征向量由多个语义特征变量组成，所述语义特征变量包括：描述脸部器官周围局部运动的特征变量，以及描述全脸各器官之间相对运动的特征变量；

2)基于由多个表情基构成的参考模型，将所述视频的语义特征向量表示为各表情基的语义特征向量的加权和，并将与各表情基的语义特征向量的加权系数作为表情参数；

3)基于步骤2)所获得的表情参数和相应的参考模型的表情基，生成与所述视频表情一致的人脸动画；

所述步骤1)、2)中，所述描述脸部器官周围局部运动的特征变量包括：描述眉毛周围局部运动的特征变量，描述眼睛周围局部运动的特征变量，以及描述嘴巴周围局部运动的特征变量；

所述描述眉毛周围局部运动的特征变量包括两眉毛之间的水平距离，左眉内眉梢、外眉梢、眉毛中心与左眼的垂直距离，以及右眉内眉梢、外眉梢、眉毛中心与右眼的垂直距离；

所述描述眼睛周围局部运动的特征变量包括左眼上眼皮与下眼皮之间的最大垂直距离，以及右眼上眼皮与下眼皮之间的最大垂直距离；

所述描述嘴巴周围局部运动的特征变量包括上嘴角宽度、嘴巴最大宽度和嘴巴最大张开幅度；

所述描述全脸各器官之间相对运动的特征变量包括：鼻眼之间，嘴眼之间以及鼻嘴之间的距离特征变量；

所述鼻眼之间的距离特征变量包括：鼻尖与两眼中心的垂直距离；嘴眼之间的距离特征信息包括：左嘴角与眼睛的垂直距离，以及右嘴角与眼睛的垂直距离；鼻嘴之间的距离特征信息包括：鼻尖与左嘴角的水平距离、鼻尖与右嘴角的水平距离、鼻尖与上嘴唇中心的垂直距离、鼻尖与上嘴唇左尖的垂直距离，以及鼻尖与上嘴唇右尖的垂直距离；

所述步骤2)包括下列子步骤：

21)基于描述脸部器官周围局部运动的特征变量，构造分别与各脸部器官相对应的多个局部特征子向量，基于描述全脸各器官之间相对运动的特征变量，构造全局特征子向量；

22)基于误差最小原则，求解将所述视频的局部特征子向量表示为表情基的局部特征子向量加权和的表情参数局部子向量；求解将所述视频的全局特征子向量表示为表情基的全局特征子向量加权和的表情参数全局子向量；

23)将表情参数全局子向量与各脸部器官所对应的表情参数局部子向量融合，得到各所述表情基最终的表情参数。

2.根据权利要求1所述的视频驱动的人脸动画生成方法，其特征在于，所述步骤22)还包括：在基于误差最小原则求解表情参数局部子向量和表情参数全局子向量时，优先求解使用频度高的表情基的表情参数。

3.根据权利要求2所述的视频驱动的人脸动画生成方法，其特征在于，所述步骤22)还包括：基于训练集，分别获取各表情基的使用频度。

4.根据权利要求1所述的视频驱动的人脸动画生成方法，其特征在于，所述步骤23)包括：对于参考模型中的每个表情基，在表情参数全局子向量与各脸部器官所对应的表情参数局部子向量中，如果仅有一个非零的该表情基所对应的表情参数，则直接将其作为该表情基最终的表情参数；如果存在多个非零的该表情基所对应的表情参数，则以这些表情参数的平均值作为该表情基最终的表情参数。

5.根据权利要求1所述的视频驱动的人脸动画生成方法，其特征在于，所述步骤1)还包括：捕获视频中人脸图像的二维特征点，并从所述二维特征点中提取出所述视频的语义特征向量。