[发明专利]三维面部生成方法和装置、三维面部重演方法和装置

说明书

本申请公开一种三维面部生成方法和装置，三维面部重演方法和装置，其中，所述生成方法包括：基于目标表情编码网络模型，获取包含第一身份对象的第一图像的表情向量；所述第一图像为面部具有遮挡物的图像；将所述表情向量，以及包含第二身份对象的第二图像，输入到目标面部生成网络模型中，确定将所述第一图像的表情向量迁移到所述第二图像中所述第二身份对象面部的目标图像；使得第一图像中第一身份对象的面部区域即便在具有遮挡物的情况下，依然能够识别出表情向量，并迁移到第二图像的第二身份对象的面部，从而提高面部表情迁移的准确性，同时提高面部表情在遮挡情况下迁移的鲁棒性。

技术领域

本申请涉及计算机应用领域，具体涉及一种三维面部生成方法和装置、三维面部重演方法和装置。本申请同时涉及一种计算机存储介质和电子设备。

背景技术

人脸重演技术是指将一个人(源人脸)的表情和头部姿态迁移到另一个人脸上(目标人脸)，并且保持目标人脸的身份不发生变化。人脸重演技术拥有广泛的应用场景，比如制作虚拟主播，虚拟偶像等等，通俗的讲，将输入一段源人脸的说话视频和目标人脸的一张静态图片，人脸重演技术可以使该静态图片参照源人脸视频动生成一段目标人脸的新视频，该视频拥有和源视频一样的表情变化和头部姿势变化。

发明内容

本申请提供一种三维面部生成方法，以解决现有技术中由于人脸存在遮挡而导致无法进行人脸生成或生成不准确的问题，进一步无法实现三维人脸重演的问题。

本申请提供一种三维面部生成方法，包括：

基于目标表情编码网络模型，获取包含第一身份对象的第一图像的表情向量，其中，所述目标表情编码网络模型为基于面部具有遮挡物的表情图像进行训练确定的模型；所述第一图像为面部具有遮挡物的图像；

将所述表情向量，以及包含第二身份对象的第二图像，输入到目标面部生成网络模型中，确定将所述第一图像的表情向量迁移到所述第二图像中所述第二身份对象面部的目标图像，其中，所述目标面部生成网络模型为基于具有相同身份的图像对应的不同表情进行表情迁移训练确定的模型。

在一些实施例中，所述方法还包括：

从表情图像样本数据集中获取目标样本图像、与所述目标样本图像表情相似的正样本图像以及与所述目标样本图像表情不相似的负样本图像，其中，所述目标样本图像、所述正样本图像和所述负样本图像中至少有一张图像中的部分面部区域具有遮挡物，且所述目标样本图像、所述正样本图像和所述负样本图像为具有不同身份信息的样本图像；

基于所述目标样本图像、所述正样本图像和所述负样本图像对初始的表情编码网络模型进行训练，所述表情编码模型用于计算输入图像对应的表情向量；

当根据所述表情向量确定满足预设的模型收敛条件时，获得所述目标表情编码网络模型。

在一些实施例中，所述基于所述目标样本图像、所述正样本图像和所述负样本图像对初始的表情编码模型进行训练，包括：

将所述目标样本图像、所述正样本图像和所述负样本图像分别输入至初始的表情编码网络模型，分别获得对应的表情向量；

基于所述目标样本图像对应的表情向量、所述正样本图像对应的表情向量、所述负样本图像对应的表情向量以及预设的损失函数，获得损失值；

根据所述损失值确定是否满足预设的收敛条件，若不满足，则对初始的表情编码网络模型的参数进行调整，并对调整后的所述表情编码网络模型进行下一轮的训练。

在一些实施例中，所述将所述表情向量，以及包含第二身份对象的第二图像输入到目标面部生成网络模型中，确定将所述第一图像的表情向量迁移到所述第二图像面部的目标图像，包括：

将所述第二图像输入到所述目标面部生成网络模型的编码器中，确定所述第二图像对应的面部特征；