[发明专利]一种基于深度迁移网络的多形态人脸情感生成方法

说明书

本发明涉及一种基于深度迁移网络的多形态人脸情感生成方法，采取一种基于多特征密集残差卷积神经网络的情绪特征提取方法，使用残差网络对不同的卷积层提取出来的表情特征进行融合，充分利用不同卷积层提取出来的所有表情特征。选取StarGAN网络为迁移模型，基于Wasserstein距离函数对原网络中的判别器D进行了改进，并将基于多特征融合密集残差神经网络的特征提取方法加入改进后W‑StarGAN网络中，完成了静态人脸图像多表情迁移任务，最终得到多形态人脸情感图像。本发明减少了传统表情特征提取算法中的人工干预，最后通过表情识别实验验证本发明的表情特征提取方法能够有效提升表情特征提取的效果，整体表情识别率达到了93.82％，相较于传统CNN特征提取方法提高了1.49％。

技术领域

本发明涉及人脸图像领域，特别涉及人脸表情迁移技术。

背景技术

对表情迁移技术的研究现状进行研究分析后我们得出，现有的表情迁移方式主要包括两大类。第一种就是改变整个人脸，实验通过改变图像或者视频当中的人物面部形态来完成对人物角色的改变，例如某些相机中提供的换脸功能。而在去年热度极高的DeepFakes技术就是改变人脸技术的一种比较完善的应用场景。第二种技术就是仅改变人脸中的部分表情细节，保留原面部图像的身份信息，通过不同表情之间的特征变化来达到表情的迁移。

Zhang等人研究出的人脸表情生成方法是采用的是几何驱动技术。作者通过对原始的面部情绪进行特征点获取以及标定，利用三维建模技术生成出一张具有个性化表情的面部图片，其中每一个表情图像都是由不同的几何模块和细节文理模块合成的。系统的关键技术在于对于原始表情的特征点获取部分，因此提出了一种基于立体技术的三维交互式情绪编辑方法，研究人员可以通过改变特征点的位置来改变模型中的面部表情，仿真出不同的表情之间的面部细节差异。但是这个方法是基于三维坐标信息的标定方法，需要采用专业的动点采集设备来进行特征点采集，模型建立的时间过长，同时作为工程应用不具备良好的迁移性。

Liu Z等人研究出的面部表情合成方法是基于一种情绪比率图像(expressionratio image,ERI)技术的映射方法。作者提出人脸表情的迁移过程不仅仅包含面部五官的运动变化，同时也需要加入光线明暗以及外观上的微妙变化，包括面部褶皱等等，这样才会得到更加逼真的表情图像。这种方法在完成表情迁移的过程中，在处理不同光源的图像时，没有关注到除了目标面部表情的逼真程度的其他要素，包括目标面部的物理特征，这个方法只是将原始表情图像完全覆盖到了目标的面部图像上去。不完全意义上算是表情的迁移。

Choi Y等人在2017提出了StarGAN神经网络，它是一种新型的生成网络，解决了传统GAN网络在完成多领域迁移过程中训练过于复杂的问题。其中关于面部表情的迁移上面，该模型也完成的较为出色。StarGAN网络完成了只需要训练一个GAN网络模型就可以对多个特征域执行图像到图像的风格迁移，同时也解决了同时在多个数据集上进行训练的问题。但是作为GAN网络的一种，StarGAN存在以下两个问题：判别器D训练的更加成熟同样也会导致了一个问题，模式崩坏(mode collapse)，那就是生成器G最终生成的图像虽然很逼真，但是结果缺乏多样性。另一个问题是训练过程较为困难，GAN网络的训练过程并不是生成器G和判别器D同时开始训练，而是先训练判别器D一段时间再开始训练判别器D，在这个过程中需要不断协调G和D的训练程度；而且在训练过程中，判别器D和生成器G的损失函数无法指示训练过程，缺乏一个有意义的指标和生成图片的质量相关联。

RKumar等人也是在2017年提出了ObamaNet，这是一种改变面部动作的迁移网络。通过记录人物面部嘴唇的位置信息，不断改变坐标点，来生成能够模仿正常人类说话的连续动作。这种方法为了极大程度的保留人物信息，仅仅对人物的嘴巴部分进行了动作变换，而其他的部位没有进行变动。这样的方式虽然会极大程度的保留人物的特征信息，但是仅仅对单一器官进行修改影响了生成结果的整体形象。