[发明专利]一种分区域训练的表情动画转换方法及系统

说明书

本公开提供了一种分区域训练的表情动画转换方法及系统。其中，一种分区域训练的表情动画转换方法包括：检测人脸图像的关键特征点位置，并将人脸图像划分成若干个区域；利用具有表情映射关系的CycleGan模型对每个区域进行单独训练，得到表情转换后每个区域的结果图；CycleGan模型的总损失函数等于对抗性损失函数和循环一致损失函数之和，循环一致损失函数等于欧氏距离约束项和协方差约束项分别与相应权重相乘的累加和；将转换后每个区域的结果图合成完整的人脸表情图像，采用像素加权融合算法平滑合成的边界。其无需数据源驱动,可直接在源人脸动画序列上实时地转换生成真实自然的新表情序列,且对于语音视频可保证新面部表情序列与源音频的同步。

技术领域

本公开属于表情数据处理和计算机动画领域，尤其涉及一种分区域训练的表情动画转换方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

具有真实感的人脸表情动画合成，在数字娱乐、视频会议、医疗、辅助教育等领域有着广泛的应用。目前表情合成的主要方式有：1)手工编辑人脸模型，生成一帧帧的新表情；2)将源表情传递到目标人脸，在目标人脸上重现该表情；3)融合已有的表情样本，生成新表情。

发明人发现，第一种方式允许对已有的源表情数据进行任意编辑,生成任意的新表情，但耗时耗力，且对操作人员的专业技术要求较高；第二和第三种方式需要借助表情数据源来驱动，合成的新表情数目和质量受限于已有的源表情数据规模，很多情况下合成的表情真实感不高，尤其在处理语音视频时，往往难以实现表情重现与源视频中音频的同步。因此，现有人脸表情合成存在大多依赖数据源驱动、生成效率低及真实感差的问题。

发明内容

为了解决上述问题，本公开的第一个方面提供一种分区域训练的表情动画转换方法，其无需借助数据源驱动,而是直接将人脸动画序列中的源表情转换成任意的新表情，如将中性表情下的演讲过程转变成在惊讶表情下的演讲，且生成的新表情下的动画序列连贯、真实、自然.该方法在处理语音视频时，可很好地实现新面部表情序列与源音频的同步。

为了实现上述目的，本公开采用如下技术方案：

一种分区域训练的表情动画转换方法，包括：

检测人脸图像的关键特征点位置，并将人脸图像划分成若干个区域；

利用具有表情映射关系的CycleGan模型对每个区域进行单独训练，得到表情转换后每个区域的结果图；其中，CycleGan模型的总损失函数等于对抗性损失函数和循环一致损失函数之和，循环一致损失函数等于欧氏距离约束项和协方差约束项分别与相应权重相乘的累加和；

将转换后每个区域的结果图合成完整的人脸表情图像，采用像素加权融合算法平滑合成的边界。

本公开的第二个方面提供一种分区域训练的表情动画转换系统。

一种分区域训练的表情动画转换系统，包括：

区域分割模块，其用于检测人脸图像的关键特征点位置，并将人脸图像划分成若干个区域；

分区训练模块，其用于利用具有表情映射关系的CycleGan模型对每个区域进行单独训练，得到表情转换后每个区域的结果图；其中，CycleGan模型的总损失函数等于对抗性损失函数和循环一致损失函数之和，循环一致损失函数等于欧氏距离约束项和协方差约束项分别与相应权重相乘的累加和；

图像融合模块，其用于将转换后每个区域的结果图合成完整的人脸表情图像，采用像素加权融合算法平滑合成的边界。

本公开的第三个方面提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述的分区域训练的表情动画转换方法中的步骤。