[发明专利]一种无约束的3D表情迁移方法

权利要求书

1.一种无约束的3D表情迁移方法，其特征在于，包括以下步骤：

(1)、离线训练人脸形状模型并获取模型中的相关参数；

(1.1)、从人脸数据库中下载带特征点标注的人脸图像，作为人脸图像集；

(1.2)、构建人脸形状模型：其中，表示平均脸形状，P是人脸形状变化的主成分组成的矩阵，P＝[P₁,P₂...P_k]，B是人脸形状变化的权重向量，

(1.3)、利用人脸图像集计算人脸形状模型相关参数；

设人脸图像集共有M张人脸图，每张人脸图共有N个特征点，第i个特征点的坐标记为(x_i,y_i)，i＝1,2,…,N；

第j张人脸图组成的特征点向量用x^(j)＝[x₁ y₁ x₂ y₂...x_N y_N]^T表示，则平均脸形状为：

将每张人脸图组成的特征点向量都减去平均脸形状，得到均值为0的形状变化矩阵

然后利用主成分分析法PCA提取矩阵的特征向量P_c以及对应的特征值λ_c，c＝1,2,…,min(M,N)再选择前k个特征向量以列排放形式组成人脸形状变化的主成分组成的矩阵P；

以每个特征点坐标位置处为中心，在m×m的邻域范围内分别进行建模，然后利用支持向量机SVM训练打分模型，再通过训练好的打分模型对邻域范围内的m×m个点打分，得到m×m个打分结果，再由这m×m个打分结果组成每个特征点的打分响应图；

将每一幅打分响应图拟合成一个二次函数r(x,y)＝a(x-x₀)²+b(y-y₀)²+c，其中，(x₀,y₀)表示该响应图中心点的位置坐标，即每个特征点的坐标，a,b,c为拟合参数，(x,y)表示该响应图中除中心点外其余点的位置坐标；

将其余各点的位置坐标分别代入到上述二次函数中，求出该响应图中最大值R(x,y)，再通过最小化代价函数:∑(R(x,y)-r(x,y))²，求解出a,b,c的值；

(2)、实时采集包含用户人脸的图像，标记为源图像；

(3)、在源图像中，使用haar特征+adaboost人脸检测算法检测出源图像中用户的人脸区域；

(4)、使用训练阶段求解的P,λ_c,a,b,c，检测出当前人脸区域的特征点；

(4.1)、根据人脸形状模型：以及参数P，使用形状变化的权重向量获取人脸区域中的所有初始特征点；

(4.2)、按照步骤(1.3)所述方法获取每个初始特征点的打分响应图；

(4.3)、以作为目标函数，其中，(x_p,y_p)表示打分响应图中第p个点的位置坐标，β是指形状约束的权重值；通过迭代使f(x)收敛到最大值，并将此时对应的形状变化的权重向量代入到人脸形状模型中，获取到人脸区域中的所有特征点；

(4.4)、将更新后的形状变化权重向量B作为新的形状模型参数，重复步骤(4.2)-(4.3)，直到更新后的形状变化权重向量B保持不变为止，输出最终的人脸形状模型对应的人脸特征点位置；

(5)、根据人脸特征点位置，采用基于面部运动单元(Action Unit，AU)的表情参数提取算法参数化用户表情特征；

(5.1)、提取人脸表观特征；

使用多个数据库中的带有AU参数标注的人脸图像集，将每张人脸图像的人脸区域尺度放缩至固定大小，然后提取每张人脸图像的梯度直方图，再利用主成分分析法PCA提取梯度直方图中的梯度特征，选出前k个特征作为人脸表观特征；

(5.2)、提取人脸几何特征；

将步骤(4)中提取出人脸特征点作为人脸几何特征；

(5.3)、提取自然状态下的表情；

通过SEMAINE数据集中的序列自然状态下的人脸图像，计算容量图像中的表观特征和几何特征的平均值，作为自然表情描述子，然后对自然表情描述子进行归一化操作，生成自然表情特征；

(5.4)、根据多个数据库中的人脸图像集提取出的表观特征、几何特征以及自然表情特征，使用线性核的支持向量回归方法SVR训练AU检测模型；

(5.5)、在源图像的用户人脸区域，提取出其表观特征，几何特征以及自然表情特征，输入AU检测模型，获取当前源图像用户人脸的AU表情参数；

(6)、使用AU表情参数，输入至包含形状差值模型(BlendShape)的3D模型，使用Unity3D引擎驱动模型表情，实现用户无约束的3D模型表情迁移。