[发明专利]一种基于人脸重建的图像融合生成式换脸方法

权利要求书

1.一种基于人脸重建的图像融合生成式换脸方法，其特征在于，包括以下步骤：

1)选取多张人脸图像进行预处理，获得多张预处理后的人脸图像并构成训练集；

2)构建生成式人脸替换网络，生成式人脸替换网络包括多层级特征编码器、五官合成模块、皮肤重建模块和融合渲染模块，多层级特征编码器分别与五官合成模块和皮肤重建模块相连，五官合成模块和皮肤重建模块均与融合渲染模块相连；

3)将训练集输入生成式人脸替换网络进行训练，训练直至生成式人脸替换网络收敛，获得训练后的生成式人脸替换网络；

4)将待换的源人脸图像和目标人脸图像输入到训练后的生成式人脸替换网络中，输出获得最终换脸图像；

所述多层级特征编码器主要由源人脸图像特征编码模块和目标人脸图像特征编码模块组成，其中，源人脸图像特征编码模块和目标人脸图像特征编码模块均输入人脸图像，源人脸图像特征编码模块和目标人脸图像特征编码模块的第一输出输入到皮肤重建模块，目标人脸图像特征编码模块的第二输出输入到五官合成模块的第二输入，源人脸图像特征编码模块和目标人脸图像特征编码模块的结构相同，具体为：

包括七个卷积层、六个反卷积层和第一全连接层；源人脸图像特征编码模块或目标人脸图像特征编码模块的输入输入到第一卷积层，第一卷积层依次经第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层和第五反卷积层后与第六反卷积层相连，第一卷积层的输出输入到第六反卷积层，第二卷积层的输出输入到第五反卷积层，第三卷积层的输出输入到第四反卷积层，第四卷积层的输出输入到第三反卷积层，第五卷积层的输出输入到第二反卷积层，第六卷积层的输出输入到第一反卷积层，第六卷积层的输出还输入到第一全连接层，第一全连接层的输出作为源人脸图像特征编码模块或目标人脸图像特征编码模块的第一输出，第七卷积层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五反卷积层和第六反卷积层的输出共同作为源人脸图像特征编码模块或目标人脸图像特征编码模块的第二输出；

所述五官合成模块主要由身份编码器和3D融合生成模块组成，身份编码器与3D融合生成模块相连，人脸图像输入到身份编码器，身份编码器的输入为五官合成模块的第一输入，3D融合生成模块的输入为五官合成模块的第二输入，多层级特征编码器与五官合成模块的第二输入相连；

3D融合生成模块包括第七反卷积层和七个融合生成子模块；第七反卷积层与身份编码器相连，第七反卷积层依次经第一融合生成子模块、第二融合生成子模块、第三融合生成子模块、第四融合生成子模块、第五融合生成子模块和第六融合生成子模块后与第七融合生成子模块相连，身份编码器还分别与第一融合生成子模块、第二融合生成子模块、第三融合生成子模块、第四融合生成子模块、第五融合生成子模块、第六融合生成子模块和第七融合生成子模块相连，五官合成模块的第二输入分别输入到第一融合生成子模块、第二融合生成子模块、第三融合生成子模块、第四融合生成子模块、第五融合生成子模块、第六融合生成子模块和第七融合生成子模块中，第七融合生成子模块的输出作为五官合成模块的输出；

所述皮肤重建模块主要由人脸系数重组模块、超分辨率模块、三维重建模块和组件分割融合模块依次连接组成；

多层级特征编码器与人脸系数重组模块相连，源人脸图像特征编码模块的输入还输入到组件分割融合模块，组件分割融合模块的输出作为皮肤重建模块的输出。

2.根据权利要求1所述的一种基于人脸重建的图像融合生成式换脸方法，其特征在于，所述七个融合生成子模块结构相同，具体为：

包括残差模块、全局池化层、第二全连接层、第三全连接层和激活层；融合生成子模块的三个输入进行级联后的输出作为融合子输出，融合子输出输入到残差模块中，残差模块依次经全局池化层、第二全连接层和第三全连接层后与激活层相连，残差模块的输出、融合子输出和激活层的输出进行相加后的输出作为融合生成子模块的输出。

3.根据权利要求1所述的一种基于人脸重建的图像融合生成式换脸方法，其特征在于，所述输入到源人脸图像特征编码模块的预处理后的人脸图像为源人脸图像，输入到目标人脸图像特征编码模块的预处理后的人脸图像为目标人脸图像；如果源人脸图像和目标人脸图像为同一张预处理后的人脸图像，则训练五官合成模块、皮肤重建模块和融合渲染模块，如果源人脸图像和目标人脸图像为不同的预处理后的人脸图像，则不训练皮肤重建模块和融合渲染模块，只训练五官合成模块。