[发明专利]一种无约束的3D表情迁移方法

说明书

本发明公开了一种无约束的3D表情迁移方法，使用基于计算机视觉以及概率统计方法进行实现；首先使用adaboost+harr特征检测人脸区域，然后在人脸区域根据受约束的局部模型(Constrained Local Model，CLM)方法提取人脸几何特征，接着使用支持向量回归(Support Vector Regression,SVR)提取人脸表情参数，最后输入表情参数控制3D模型的面部BlendShape，合成表情动画，实现一种无约束的3D表情迁移方法。

技术领域

本发明属于图像处理技术领域，更为具体地讲，涉及一种无约束的3D表情迁移方法。

背景技术

面部表情在人与人之间交流上有着重要作用，人脸的表情相对于文字语音等媒介，在表达人的情感方面具有更加直观，准确的优势。人的这种情感交互模式现在已经用于如虚拟现实、数字娱乐领域、通信与视频会议、人机交互等场景，相对于传统的语音、控制面板等交互方式，具有表现力强，交互更加自然等优势。表情迁移方法大致包含以下三个方面：人脸表情捕捉，人脸表情参数提取，参数化目标人脸动画合成。

目前人脸表情捕捉技术可分为无标记点的表情捕捉技术与有记点的表情捕捉技术，基于标记点的表情捕捉技术能捕捉精确的表情细节，但往往需要复杂的硬件设备辅助且在捕捉过程中需要对用户脸上使用画笔等对用户的人脸进行标记，具有一定侵入性。无标记的表情捕捉技术对硬件及用户的约束则较少，通过2D人脸图像提取人脸表情信息。

表情特征参数化方法大多数使用机器学习算法，通过大量数据集训练模型，学习捕捉到的表情信息到表情控制参数之间的映射关系，但是该类方法受限于用户的个体差异性，分类器的表现结果相当程度上依赖于训练数据以及对自然状态下的人脸表情检测能力，针对这一问题，有学者通过额外的初始化步骤学习当前用户的表情特征，有效的减弱了个性化差异带来的影响，但是却增大了算法执行复杂度。

动画合成方法根据目标人脸类型可分为2D人脸动画以及3D模型人脸动画，2D人脸动画基于图像，可获得高真实感的2D人脸动画，但在合成的动画中，很难改变人脸的光照条件，人脸的姿态，也很难无缝拼接到3D场景中。3D模型人脸动画中的肌肉模型驱动方式很难通过计算机视觉算法获取控制参数，人工控制以及建立该3D模型的人工消耗都非常高，混合样本的人脸动画方式又需要预置各个基本表情的表情库，该表情库需要满足正交性与全面性，构建该表情库的人工代价很高。

本发明使用无标记的表情捕捉算法，根据人脸表情的普适性特征，辅以全面的训练数据使用机器学习算法实现自动的参数化表情特征提取，最后使用正交化的混合样本合成人脸动画。

发明内容

本发明的目的在于克服现有技术的不足，提供一种无约束的3D表情迁移方法，根据用户人脸图像特征，提取用户表情参数，映射到虚拟3D模型，合成人脸动画，实现无约束的3D表情迁移。

为实现上述发明目的，本发明一种无约束的3D表情迁移方法，其特征在于，包括以下步骤：

(1)、离线训练人脸形状模型并获取模型中的相关参数

(1.1)、从人脸数据库中下载带特征点标注的人脸图像，作为人脸图像集；

(1.2)、构建人脸形状模型：其中，表示平均脸形状，P是人脸形状变化的主成分组成的矩阵，P＝[P₁,P₂...P_k]，B是人脸形状变化的权重向量，B＝[b₁,b₂.,..,b_k]^T；

(1.3)、利用人脸图像集计算人脸形状模型相关参数

设人脸图像集共有M张人脸图，每张人脸图共有N个特征点，第i个特征点的坐标记为(x_i,yi)，i＝1,2,…,N；