[发明专利]基于隐藏变量解耦的人脸图像局部特征迁移网络及方法

说明书

本发明公开了一种基于隐藏变量解耦的人脸图像局部特征迁移网络及方法，首先提出了一个隐藏变量解耦的局部妆容迁移和移除的生成对抗神经网络框架；在网络结构的基础上，创新的提出了一个可以用于训练该网络的局部妆容迁移损失函数，该损失函数包括局部妆容损失，局部不变损失、局部与全局妆容不变损失函数；将未化妆的人脸图片看做化妆人脸图片的特例情况，本方法将妆容迁移和妆容移除作为统一问题进行处理，得到了多种妆容移除效果。

技术领域

本发明属于深度学习与人工智能技术领域，涉及一种图像局部特征迁移与移除网络及方法，具体涉及一种基于隐藏变量解耦的人脸图像局部特征迁移与移除网络及方法，所用网络属于生成对抗网络。

背景技术

如何针对图像局部特征进行改变(迁移新特征与移除新特征)，目前越来越广，例如：随着生活水平的不断提高，女性对美的追求越来越强烈。化妆成了大多数女性出门之前的必备步骤。

现实生活中经常会出现如下两种场景：

场景一：当一个女生看到一个漂亮妆容的时候，经常会想象自己化了这个妆容效果会怎么样。然而化妆是费时的，要想看到化妆后的结果，可能要花费近一个小时的时间和精力。然而，化完妆后又可能因为该妆容不适合自己而苦恼。因此推出一个试妆模型是十分必要的。

场景二：女生可能只对一个妆容的局部妆容感兴趣，比如眼部妆容。因此仅仅做到全局的妆容的迁移是不够的，还需要能够达到局部妆容迁移的效果。

为了解决试妆和局部试妆问题，研究学者提出了许多有效的方法。传统方法中基于人脸特征点定位和图像分解，这种方法中需要高精度的人脸特征点定位和很好对齐的人脸图像，同时输出的结果不真实，给人贴图的效果。

近期，随着对抗神经生成网络在图像生成领域取得巨大成功，已有学者使用对抗生成网络的方法做了美妆迁移任务，并取得逼真的最先进的结果。但是如今最先进的方法只将图片解耦为内容信息和妆容信息，因此并不能做到局部妆容迁移的功能。

发明内容

针对上述技术问题，本发明的目的在于提出一种采用多个属性编码器分别提取不同区域的局部信息(妆容信息)，通过只交换局部信息做到局部妆容迁移效果的基于隐藏变量解耦的人脸图像局部特征迁移与移除方法。

为达到上述目的，本发明的主要技术解决手段是提供了一种基于隐藏变量解耦的人脸图像局部特征迁移与移除网络，其特征在于：包括一个内容编码器E^C、一个嘴部妆容编码器E^L、眼部妆容编码器E^S、脸部妆容编码器E^F、解码器G，以及三个判别器分别为D_X、D_Y、D_XY；其中，编码器和解码器合统称为生成器；

所述内容编码器E^C用来提取人脸妆容无关特征，嘴部妆容编码器E^L用来提取嘴部妆容信息，眼部妆容编码器E^S用来提取眼部妆容信息，脸部妆容编码器E^F用来提取脸部妆容信息；解码器G根据输入的信息生成不同的图片；判别器D_X、D_Y、D_XY用来判别生成的结果是否来自对应的真实样本域；D_X用来区分是来自生成器生成的假的妆容移除的样本还是未化妆图片域中真实的样本，D_Y用来区分是来自生成器生成的假的妆容迁移的样本还是化妆图片域中真实的样本，D_XY用来区分是来自生成器生成的图片还是未化妆图片域和化妆图片域共同的真实的样本。

本发明还提供了一种基于隐藏变量解耦的人脸图像局部特征迁移与移除方法，其特征在于，包括以下步骤：

步骤1：搭建人脸图像局部特征迁移与移除网络架构，用损失函数指导人脸图像局部特征迁移与移除网络进行训练，获得训练好的人脸图像局部特征迁移与移除网络；