[发明专利]一种基于身份和表情特征转换的人脸表情转换方法

说明书

本发明提出一种基于身份和表情特征转换的人脸表情转换方法，主要解决个性化人脸表情问题。大多数现有的面部表情合成工作试图学习表达域之间的转换，因此需要配对的样本以及标记的查询图像。本发明通过建立两个编码器可以保存原始图像的身份信息和表情特征信息，将目标面部表情特征作为条件标签。主要过程包括：首先进行人脸表情训练，对中性表情图片和其它人脸表情图片进行预处理，然后提取中性表情的身份特征参数和目标面部表情特征参数，建立匹配模型；其次再进行人脸表情转换，将中性表情图片输入到转换模型中，并将模型输出参数用到表情合成中，来合成目标表情图像。本发明不再局限相同身份的不同表情的配对数据集，两个编码器的存在可以有效保留原始图像的身份信息，能够实现中性表情向不同表情的转换。

技术领域

本发明属于图像处理领域，涉及一种基于身份和表情特征转换的人脸表情转换方法。

背景技术

随着计算机技术的高速发展，计算机在人类的生活中充当着很重要的角色。人们也希望计算机能够有着人类的智能，希望计算机能和人进行畅通无阻的交流，而更自然的人机交互需要计算机具有能够理解和表达情感的能力，并能够自主适应环境，这将从根本上改变人与计算机之间的关系，将人脸表情、声音、视线、人体姿态等信息结合起来可以获得更高效、更人性化的人机交互的目的，使计算机能够更好的为人类服务。人脸表情合成技术就是计算机对人类心理活动机器模拟的一个重要方面，它反映了有表情识别能力的情感机器对于外界的情感刺激，在人工心理情感模型驱动下，所做出的自然的感情流露，在情感机器中体现为人脸表情合成模拟，用以同用户进行更好的沟通与交流。

面部表情合成旨在显示不同于中性表情的面部图像，但仍保留面部的个性化特征。在保留身份信息的同时，表达来自单个静态面部的逼真照片的面部表情的合成将对情绪计算领域产生重大影响。尽管这个问题面临巨大挑战，但仍有许多感兴趣的研究人员参与这一领域。缺少标记的面部表情数据库使这个问题具有挑战性。研究人员对数据集有严格的要求，即不同表情的同一人的面部图像，有些甚至需要长期配对的样本，这些样本很难收集。虽然数据库包含各种各样的图像面部表情，但由于受试者数量有限，很难辨别面部表情和身份信息。给定训练数据，我们需要将其划分为不同的表达式并学习组间的转换关系。因此，有必要使用标记的图片来正确定位图片。

面部表情合成的方法主要分为两类。一个类别通过扭曲图像来处理问题，而不是从潜在向量生成它们。这些方法主要通过影响面部的部分而不是整个图像来生成面部表情。有人通过从一组类似的图像中学习映射来扭曲原始图像。最近，这个想法被应用于变分自动编码器(VAE)来学习流场。但是，需要在主题上配对具有不同表达的数据来训练模型。另一类通过使用图像合成技术生成目标面部表情，主要使用基于深度学习的方法。有人提出利用卷积神经网络(CNN)以从单个正面生成非正面视图。有人将基于时间限制的玻尔兹曼机(Boltzmann)机器的模型应用于情绪面部表情转移。

随着最近发展的生成对抗网络(GAN)，GAN已经能够在自然环境中生成高质量的样本，例如手写字体，面部图像，风景。此外，GAN已成功应用于人脸图像合成。与VAE不同，GAN可以被直接优化以产生最合理和最真实的数据。GAN可以使用条件扩展GAN来明确控制生成的图像特征。这些通常使用GAN的编码器来寻找潜在空间中的面部图像的低维表示，然后通过操纵潜在矢量来解码它们以生成新图像。如果我们在训练期间控制潜在向量的传入参数，则在生成潜在向量时，我们可以更改这些参数值，以便管理图片中必要的图像信息，这称为条件生成对抗网络模型(CGAN)。

发明内容

本发明提出一种基于身份和表情特征转换的人脸表情转换方法，主要解决个性化人脸表情问题。可以应用在娱乐领域，最为熟知的应用是在电影、广告及游戏制作等方面，其中电影制作者运用表情动画技术为角色制作了活灵活现的表情，为电影增添了新的魅力，游戏制作者通过建立逼真的表情和场景，增强了用户的沉浸感。人脸表情转换意味着在相同角色的情况下，将人脸从中性表情换成另一种表情。

为了达到上述目的，本发明的方法包括为：