[发明专利]基于生成对抗网络的妆容迁移方法

权利要求书

1.一种基于生成对抗网络的妆容迁移方法，其特征在于所述方法包括如下步骤：

步骤一、人脸分割

将RGB三通道彩色人脸参考图像输入到人脸分割模块中，得到人脸语义分割灰度图；

步骤二、UV映射

分别将人脸源图像、人脸参考图像及人脸参考图像对应的人脸语义分割灰度图输入到UV映射模块中，将图片的位置信息和纹理信息分离开来，得到对应的UV位置贴图S和UV纹理贴图T；

步骤三、妆容提取

根据步骤二得到的人脸参考图像对应的UV纹理贴图和人脸参考图像的人脸语义分割灰度图对应的UV纹理贴图按位相与，提取出眼妆、唇妆和底妆三部分的妆容；

步骤四、颜色转移

步骤四一、构建颜色转移分支生成器

所述颜色转移分支生成器包括编码器1、编码器2、第一瓶颈层、第二瓶颈层、妆容迁移模块、解码器；

步骤四二、将步骤三中得到的眼妆、唇妆和底妆三部分妆容分别输入到编码器2中提取各部分妆容的样式特征，得到妆容的样式编码；

步骤四三、将步骤二中得到的源图像对应的UV纹理贴图输入到编码器1、第一瓶颈层中提取其中的人脸身份特征；

步骤四四、利用妆容迁移模块将步骤四二得到的妆容的样式编码融合到人脸身份特征中，再由解码器解码得到将参考妆容迁移到源图像中的UV纹理贴图；

步骤五、UV逆映射

将步骤四中得到的妆容迁移后的UV纹理贴图沿着步骤二中得到的源图像的UV位置贴图进行映射，将其还原为真实的二维图像，此图像即为妆容迁移的结果图像。

2.根据权利要求1所述的基于生成对抗网络的妆容迁移方法，其特征在于所述步骤一中，人脸分割模块将人脸分割为背景、脸部、鼻子、眼镜、左眼、右眼、左眉、右眉、左耳、右耳、嘴部、上嘴唇、下嘴唇、头发、帽子、耳环、项链、颈部、衣物，人脸语义分割灰度图不同大小的灰度值标记不同的部位。

3.根据权利要求1所述的基于生成对抗网络的妆容迁移方法，其特征在于所述编码器1和编码器2均由两个卷积块构成，卷积块包括卷积层、实例归一化和ReLu激活函数；第一瓶颈层由三个残差块构成，残差块由卷积层、实例归一化、ReLu激活函数、卷积层、实例归一化串联而成；所述妆容迁移模块引入StyleGAN的编码机制，由映射模块和多层感知机组成，映射模块由池化层和1×1的卷积层构成，最终将输入的特征映射为一维的编码z，再经过多层感知机将其映射到解纠缠的编码空间，得到解纠缠的编码w，此编码将作为第二瓶颈层的参数使用；所述第二瓶颈层由三个带AdaIn的残差块构成，带AdaIn的残差块由卷积层、AdaIN自适应实例归一化、ReLu激活函数、卷积层、AdaIN自适应实例归一化串联而成；所述解码器由两个上采样卷积块构成，上采样卷积块由上采样、卷积、层归一化和ReLu激活函数构成。