[发明专利]一种基于人脸重建的图像融合生成式换脸方法

说明书

本发明公开了一种基于人脸重建的图像融合生成式换脸方法。本发明包括以下步骤：1)选取多张人脸图像进行预处理，获得多张预处理后的人脸图像并构成训练集；2)构建生成式人脸替换网络；3)将训练集输入生成式人脸替换网络进行训练，训练直至生成式人脸替换网络收敛，获得训练后的生成式人脸替换网络；4)将待换的源人脸图像和目标人脸图像输入到训练后的生成式人脸替换网络中，输出获得换脸图像。本发明有效解决了换脸过程中纹理不匹配的问题，实现了三维人脸重建的皮肤纹理精细化生成，从而有效地提升了换脸的相似度和真实感，得到高质量的换脸图像。

技术领域

本发明涉及计算机视觉的人脸合成领域的一种基于神经网络的换脸方法，具体涉及了一种基于人脸重建的图像融合生成式换脸方法。

背景技术

人脸图像作为身份信息的媒介，在医疗、教育、科学、文化等产业有着广泛的应用。这也增加了个人隐私泄露的风险。替换图像中的人脸来保护民众隐私安全的方法应运而生。在计算机视觉领域，该方法被称为人脸替换。此外，人脸替换常被用于影视剧中演员的自动化替换，实现解放劳动力并快速生产视频。综上，人脸替换对保护民众隐私安全、推动影视行业发展具有重要意义。

人脸替换是指将源人脸融合到目标人脸图像，获得具有源人脸身份信息并保持目标人脸表情、姿态、光照等属性信息的合成人脸的过程。其难点在于提升合成人脸图像和源人脸的相似度。目前的研究通常基于三维人脸重建或生成式对抗网络的方法实现。

基于三维人脸重建的换脸方法将源人脸和目标人脸分别进行系数重建，通过交换二者的对应系数实现换脸。尽管三维人脸模型具有稳定的拓扑结构使得该方法可以稳定地表达人脸纹理，尤其是皮肤纹理，但是三维人脸重建受限于平均人脸模型，五官的纹理表达能力不足，同时三维人脸数据采集成本较高，目前的开源数据集均已商用化，高昂的费用让传统的重建方式步履维艰。

基于生成式对抗网络的人脸替换方法将人脸替换看作是一种风格迁移，通过身份属性的编解码器合成得到真实度高的换脸结果。由于无法完全解耦人脸图像的身份和属性特征，使得合成人脸的皮肤纹理表达不稳定，影响替换人脸的相似度。

发明内容

为了解决技术背景中存在的问题，本发明提出了一种基于人脸重建的图像融合生成式换脸方法，实现基于三维人脸重建和生成式对抗网络的换脸方法的优势互补，有效解决了人脸合成领域中换脸纹理不匹配的问题，有效提升了换脸的相似度和真实感。

本发明提出的生成式人脸替换网络包含三个模块，皮肤重建模块R-Net、五官合成模块G-Net和融合渲染模块F-Net。皮肤重建模块通过组件级重建的方法输出去除五官的皮肤区域，实现三维人脸替换的皮肤重建过程；五官合成网络生成换脸结果的五官区域；融合渲染网络用于R-Net生成的皮肤区域与G-Net生成的五官区域融合，得到最终换脸图像。

下面将对本发明的技术方案做详细的说明：

本发明包括以下步骤：

1)选取多张人脸图像进行预处理，获得多张预处理后的人脸图像并构成训练集；

2)构建生成式人脸替换网络，生成式人脸替换网络包括多层级特征编码器、五官合成模块、皮肤重建模块和融合渲染模块，多层级特征编码器分别与五官合成模块和皮肤重建模块相连，五官合成模块和皮肤重建模块均与融合渲染模块相连；

3)将训练集输入生成式人脸替换网络进行训练，训练直至生成式人脸替换网络收敛，获得训练后的生成式人脸替换网络；

4)将待换的源人脸图像和目标人脸图像输入到训练后的生成式人脸替换网络中，输出获得最终换脸图像。