[发明专利]一种分区域训练的表情动画转换方法及系统

权利要求书

1.一种分区域训练的表情动画转换方法，其特征在于，包括：

检测人脸图像的关键特征点位置，并将人脸图像划分成若干个区域；

利用具有表情映射关系的CycleGan模型对每个区域进行单独训练，得到表情转换后每个区域的结果图；其中，CycleGan模型的总损失函数等于对抗性损失函数和循环一致损失函数之和，循环一致损失函数等于欧氏距离约束项和协方差约束项分别与相应权重相乘的累加和；

其中，协方差约束项为E_cov(G,F)：

E_cov(G,F)＝||∑(F(G(x)))-∑x||₁+||∑(G(F(y)))-∑y||₁

其中，x和y分别表示源域X域和目标域Y域中的样本数据；CycleGan模型通过学习源域到目标域的表情映射关系，实现两个表情序列间的转换，映射G将X域的样本数据x转换成Y域中的样本数据G(x)，再通过F映射回X域得到样本数据F(G(x))；Y域中的样本数据y经过一个循环变换后变成G(F(y))；|| ||₁为1范式，即欧式距离；∑x为样本图像x的协方差矩阵；∑(F(G(x)))为循环转换后样本数据F(G(x))的协方差矩阵；∑y为样本图像y的协方差矩阵；∑(G(F(y)))为循环转换后样本数据G(F(y))的协方差矩阵；

将转换后每个区域的结果图合成完整的人脸表情图像，采用像素加权融合算法平滑合成的边界。

2.如权利要求1所述的分区域训练的表情动画转换方法，其特征在于，循环一致损失函数E_ncyc(G,F)为：

E_ncyc(G,F)＝λE_cyc(G,F)+μE_cov(G,F)

E_cyc(G,F)＝||F(G(x))-x||₁+||G(F(y))-y||₁

其中，E_cyc(G,F)为欧氏距离约束项；λ和μ为权重。

3.如权利要求2所述的分区域训练的表情动画转换方法，其特征在于，样本图像x的协方差矩阵∑x为：

其中，x_{_k}为样本图像x的第k列像素；b是样本图像x的长度，也就是列数；是样本图像x的像素均值。

4.如权利要求2所述的分区域训练的表情动画转换方法，其特征在于，循环转换后样本数据F(G(x))的协方差矩阵∑(F(G(x)))为：

其中，x′_{_k}为循环转换后样本数据F(G(x))的第k列像素；d是循环转换后样本数据F(G(x))的长度，也就是列数；是循环转换后样本数据F(G(x))的像素均值。

5.如权利要求1所述的分区域训练的表情动画转换方法，其特征在于，检测人脸图像的关键特征点位置的过程为：

将输入人脸图像的所有特征点的形状记为S，用ERT算法建立对应人脸的ERT模型，将上述模型不断进行迭代得到一个最优的人脸检测模型；

利用最优的人脸检测模型识别人脸面部关键特征点。

6.如权利要求1所述的分区域训练的表情动画转换方法，其特征在于，利用面部关键特征点对人脸图片进行区域划分，且在划分区域时限定分割窗口大小，即在划分区域时将同一区域划分为统一尺寸的图片；对分区域训练后的结果图进行融合时，对区域的交界处进行模糊处理，并反复进行多次模糊，生成区域目标表情。