[发明专利]一种数字人脸生成方法

说明书

本发明涉及数字人技术领域，且公开了一种数字人脸生成方法，该数字人脸生成方法包括以下步骤，通过DeepFake训练换脸神经网络，将原有的数字人A的面部信息直接替换成目标B的面部信息，不需要对目标B进行单独的建模即可生成目标B的数字人，避免了需要消耗大量的时间、精力与计算资源。准备过程中，使用数字人A和目标B的图片、视频信息，训练DeepFake换脸神经网络，使用过程中，生成数字人A在场景中的图像，以及同一帧、同一相机位置的高分辨率的面部图像，通过DeepFake将数字人A的面部信息替换成目标B的面部信息，并与在实际场景中的图像进行融合最终生成拥有目标B面部信息的全身图像，从而提高面部的细节，提升了计算的结果。

技术领域

本发明涉及数字人技术领域，具体为一种数字人脸生成方法。

背景技术

数字人，是运用数字技术创造出来的、与人类形象接近的数字化人物形象，狭义的数字人是信息科学与生命科学融合的产物，是利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真。其研究过程包括四个交叉重叠的发展阶段，“可视人”，“物理人”，“生理人”，“智能人”，最终建立多学科和多层次的数字模型并达到对人体从微观到宏观的精确模拟。广义的数字人是指数字技术在人体解剖、物理、生理及智能各个层次，各个阶段的渗透。需要注意的是，数字人是正在发展阶段的相关领域的统称。

现有技术制作数字人视频，首先需要通过真人进行建模，目前对人脸的建模需要消耗大量的时间、精力与计算资源。且实际应用过程中，数字人在场景中的位置可能离相机距离较远，因而面部的细节很模糊，对于换脸神经网络十分不友好，因此计算结果常常十分糟糕。

发明内容

本发明的目的在于提供一种数字人脸生成方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种数字人脸生成方法，该数字人脸生成方法包括以下步骤：

准备工作，准备一个数字人A和目标B，采集数字人A和目标B的面部图片以及视频数据，训练DeepFake换脸神经网络，将数字人A的图片或者视频输入训练完成的换脸神经网络，把图片或视频中数字人A的面部替换成目标B的面部；

步骤一、生成数字人A全身图像，使用数字人A生成一帧在实际场景中的，没有面部的全身图像；

步骤二、生成数字人A的面部图像，使用数字人A生成与步骤一中同一帧数字人A的面部高分辨率图像，这个图像分辨率可以使DeepFake换脸神经网络达到最优效果；

步骤三、使用DeepFake，将步骤二中数字人A的面部图像替换成B的面部信息，生成B的面部高分辨率图像；

步骤四、融合，将步骤一在实际场景中没有面部的全身图像，与步骤三替换后的B的面部图像进行融合，生成拥有B的面部信息最终全身图像。

优选的，所述训练的时候的数据采集，是通过数字人A生成大量视频以及目标B摄录收集带有目标B面部的视频和图片，训练DeepFake神经网络。

优选的，所述对数字人A的面部信息替换时可以但不限于使用DeepFake，可以使用其他神经网络进行替换，例如deepfacelab、faceswap。

优选的，所述步骤四中对目标B和面部图像和数字人A的全身图像进行融合时所采用的方式通过缩放将目标B和数字人A进行融合。

优选的，所述步骤四中替换后的目标B的面部图像和数字人A的全身图像融合的方案可以但不限于使用缩放。

与现有技术相比，本发明提供了一种数字人脸生成方法，具备以下有益效果：

1、该数字人脸生成方法，通过DeepFake训练换脸神经网络，将原有的数字人A的面部信息直接替换成目标B的面部信息，不需要对目标B进行单独的建模即可生成目标B的数字人，避免了需要消耗大量的时间、精力与计算资源。