[发明专利]一种智能换脸方法、装置以及计算机存储介质

说明书

本发明涉及一种智能换脸方法，获取第一图像和第二图像，将所述第一图像以及第二图像输入至预先训练好的智能换脸模型中进行换脸，通过对所述第一图像以及所述第二图像进行特征提取，并通过归一层将提取得到的特征通过所述归一层进行特征整合，得到换脸图像，通过双阶段网络结构对于图像特征的降维鲁棒处理，实现了利用小样本数据集对于智能换脸模型的快速训练，而且在智能换脸模型完成训练后，在对于其他图像进行智能换脸时，无需采用大量图像数据对智能换脸模型进行训练即可完成对其他类型图像的特征提取以及融合，极大地增强了模型的泛化能力。

技术领域

本发明涉及AI图像领域，尤其涉及一种智能换脸方法、装置以及计算机存储介质。

背景技术

目前视频换脸技术的发展，推动了影视行业、广告行业和娱乐行业的发展，视频换脸技术主要有deepfake技术和表情迁移技术，deepfake采用了自编码器的形式，即编码-解码形式，表情迁移技术代表性的有firstordermotion模型，即给定一个源人物和一个驱动视频，可以生成一个驱动视频下的换脸视频。除此之外其他的换脸方法有基于GAN网络的人脸生成算法和属性操作算法，代表性的有faceshifter技术，通过获取输入的两张图片中，第一张图片的ID特征，第二张图片的属性特征，来通过GAN生成最终的合成图像，实现换脸。

但是现有换脸技术，无论是deepfake技术、表情迁移技术还是基于GAN的换脸技术，这些方法都需要针对换脸原图像人物和目标图像人物进行单独训练或大量数据进行对抗网络训练。也就是现有的GAN换脸技术在反复换脸的过程中，需要重复的迭代训练过程，否则换脸的成功率和真实性无法达到普通标准，现在技术利用GAN的换脸技术虽然取得了显著成功，但有一定限制，其一是这些方法通常需要在训练时输入目标类的大量图像，其二是其模型的泛化能力弱，无法应用到其他类的图像上。

发明内容

为解决现有技术的上述问题，本发明提供一种智能换脸方法，包括以下步骤：

获取第一图像和第二图像，所述第一图像包括第一人物的第一人脸和除了第一人脸之外的第一剩余部，所述第二图像包括第二人物的第二人脸和除了第二人脸之外的第二剩余部；

将所述第一图像以及第二图像输入至预先训练好的智能换脸模型中进行换脸，所述智能换脸模型包括信息提取网络以及人脸生成网络，

其中，所述信息提取网络用于将所述第一图像以及所述第二图像进行特征提取，提取得到所述第一人物的第一人脸以及第一剩余部和所述第二人物的第二人脸以及第二剩余部；

所述人脸生成网络包括归一层，用于将所述信息提取网络提取得到的特征通过所述归一层进行特征整合，得到换脸图像,所述换脸图像包括所述第二人脸以及所述第一剩余部。

在上述方案的基础上本发明还可以做如下改进。

进一步，所述获取第一图像和第二图像的步骤包括：

获取包含所述第一图像的第一视频流和包含所述第二图像的第二视频流；

将所述第一视频流按预设帧率进行抽帧处理，从选定帧中得到第三图像，以及将所述第二视频流按预设帧率进行抽帧处理，从选定帧中得到第四图像；

分别从所述第三图像以及第四图像中截取得到所述第一图像以及所述第二图像。

进一步，所述第一剩余部包括所述第一人物的身体部以及第一背景部；所述第二剩余部包括所述第二人物的身体部以及第二背景部；在得到所述换脸图像之后还包括：

将所述第一视频流的每一帧中包含的所述第一图像都用所述换脸图像来替换，得到换脸视频流。

进一步，所述信息提取网络包括：