[发明专利]一种智能换脸方法、装置以及计算机存储介质

权利要求书

1.一种智能换脸方法，其特征在于，包括以下步骤：

获取第一图像和第二图像，所述第一图像包括第一人物的第一人脸和除了第一人脸之外的第一剩余部，所述第二图像包括第二人物的第二人脸和除了第二人脸之外的第二剩余部；

将所述第一图像以及第二图像输入至预先训练好的智能换脸模型中进行换脸，所述智能换脸模型包括信息提取网络以及人脸生成网络，

其中，所述信息提取网络用于将所述第一图像以及所述第二图像进行特征提取，提取得到所述第一人物的第一人脸以及第一剩余部和所述第二人物的第二人脸以及第二剩余部；

所述人脸生成网络包括归一层，用于将所述信息提取网络提取得到的特征通过所述归一层进行特征整合，得到换脸图像,所述换脸图像包括所述第二人脸以及所述第一剩余部。

2.根据权利要求1所述的智能换脸方法，其特征在于，所述获取第一图像和第二图像的步骤包括：

获取包含所述第一图像的第一视频流和包含所述第二图像的第二视频流；

将所述第一视频流按预设帧率进行抽帧处理，从选定帧中得到第三图像，以及将所述第二视频流按预设帧率进行抽帧处理，从选定帧中得到第四图像；

分别从所述第三图像以及第四图像中截取得到所述第一图像以及所述第二图像。

3.根据权利要求2所述的智能换脸方法，其特征在于，所述第一剩余部包括所述第一人物的身体部以及第一背景部；所述第二剩余部包括所述第二人物的身体部以及第二背景部；在得到所述换脸图像之后还包括：

将所述第一视频流的每一帧中包含的所述第一图像都用所述换脸图像来替换，得到换脸视频流。

4.根据权利要求1所述的智能换脸方法，其特征在于，所述信息提取网络包括：

第一提取网络，所述第一提取网络包括多层卷积层以及至少两层的残差块结构，所述第一提取网络的所述卷积层对所述第一图像进行特征提取，且所述残差块结构对所述提取的特征进行特征降维处理，得到所述第一剩余部以及所述第一人脸；

第二提取网络，所述第二提取网络包括多层卷积层以及平均池化层，所述第二提取网络的所述卷积层对所述第二图像进行特征提取，且所述平均池化层对所述提取的特征进行平均池化后，得到所述第二剩余部以及所述第二人脸。

5.根据权利要求1所述的智能换脸方法，其特征在于，所述归一层由AdaIN残差块结构实现。

6.根据权利要求5所述的智能换脸方法，其特征在于：基于生成式对抗网络构建及训练所述智能换脸模型，所述人脸生成网络还包括全连接层以及卷积层，所述全连接层对所提取的所述第二剩余部以及所述第二人脸进一步提取深层特征，然后将提取的深层特征与所述第一剩余部以及所述第一人脸一同输入至所述AdaIN残差块结构进行特征整合，并通过所述卷积层进行特征尺寸还原，得到所述换脸图像。

7.根据权利要求6所述的智能换脸方法，其特征在于，所述智能换脸模型还包括人脸判别网络(Discriminative、D)，所述人脸判别网络包括卷积层以及输出层，所述训练所述智能换脸模型包括：

所述人脸判别网络的卷积层对所述换脸图像经过进行多次卷积操作后，对所述换脸图像进行真伪分类，并将分类结果通过输出层输出并反馈至所述人脸生成网络，所述人脸生成网络根据反馈的分类结果进行参数调整。

8.根据权利要求6所述的智能换脸方法，其特征在于，所述训练所述智能换脸模型包括：

采集多种场景下带有人脸的图片，得到人脸样本集，基于生成式对抗网络构建所述智能换脸模型；

利用所述人脸样本集对所述智能换脸模型进行多次迭代训练，所述人脸生成网络根据所述人脸样本集生成对应的换脸图像，通过所述人脸判别网络对所述对应的换脸图像进行分类，并根据分类的结果对所述生成式对抗网络的参数进行更新，直至所述人脸判别网络无法识别所述对应的换脸图像的真伪，就得到了所述预先训练好的智能换脸模型。