[发明专利]一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法

说明书

本发明公开了一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法，通过专业相机进行源图像和参考妆容图像采集，得到自然条件不同阴影扰动的图像对。使用双通道层次聚合网络多尺度提取图像中的阴影信息和人脸身份妆容信息，将得到的人脸身份妆容多尺度特征向量通过空间金字塔池化拼接后输出，得到无阴影影响的图像。使用解耦表示的方法将得到的图像解耦到内容空间和属性空间；将源图像的内容向量和参考图像的属性向量进行特征融合，得到妆容迁移结果。在模型训练完成后，将模型迁移到用户移动端上，用户输入自己的源图像和移动端摄像头拍摄的参考妆容图像，可以得到拍摄的妆容迁移到自己面部的效果。

技术领域

本发明属于深度学习与图像妆容迁移技术领域，具体涉及一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法，使得在有阴影扰动的场景下可以进行妆容迁移。

背景技术

化妆是一种无处不在的改善面部的方式，精致的妆容可以增强面部吸引力，给自己积极的心理暗示，增加日常生活中的自信。专业的化妆品有如遮盖脸部缺陷的遮瑕霜以及粉底、眼线、眼影和口红等。化妆品种类繁多，品牌、颜色、使用方法不一，如果没有专业建议，很难找到一种适合自己的化妆风格。如今，越来越多的人开始关心化妆，但如何选择一个满意和真实的妆容是一个耗时和具有挑战性的任务。虚拟化妆应用是一个方便的工具，帮助用户尝试照片中的化妆风格，如美图秀秀等。然而，这些工具都需要用户手动交互，并且只提供一定数量的固定化妆风格，且只能在一定的场景下使用，当日常使用环境中有其他干扰，如光照、阴影、遮挡、姿态变化时，效果表现不佳。

妆容迁移方法是一项可以将任意妆容迁移到自身的技术，该技术当前只用提供一张自己的源图片，和一张参考妆容图片，便可以查看该妆容迁移到自身面部的效果，大大节省了时间和精力。但是，在现实生活中，会出现各种干扰影响妆容迁移的效果，特别是阴影干扰，会严重影响面部妆容的色彩分布，导致最后的结果并不理想。

发明内容

本发明的目的是为了解决上述背景技术存在的不足，从而提出一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法。用专业相机采集数据集内图像，经数据处理后输入到模型中，训练出对阴影鲁棒的妆容迁移模型，将模型迁移到移动端中，使得用户可以方便查看妆容呈现在自己面部的效果，为用户节省试妆时间，大幅提升用户的生活质量，同时可以提高化妆品的销量。

本发明的系统所采用的技术方案是：一种阴影鲁棒的基于解耦表示的妆容迁移系统，包括以下模块：

图像采集模块，用于采集源图像和参考妆容图像以及对应的加入阴影扰动的图像，保留对应的掩膜；其中源图像和参考妆容图像是非配对图像；

图像处理模块，用于对采集的图像对及对应的掩膜进行数据处理；

阴影去除模型和妆容迁移模型构建模块，用于阴影去除模型和妆容迁移模型构建；

阴影去除模型和妆容迁移模型训练模块，用于训练阴影去除模型和妆容迁移模型，获得训练好的阴影去除模型和妆容迁移模型。

本发明的方法所采用的技术方案是：一种阴影鲁棒的基于解耦表示的妆容迁移方法，包括以下步骤：

步骤1：将训练好的阴影去除模型和妆容迁移模模型迁移到用户移动端上；

步骤2：用户使用移动端摄像头采集自己的源图像和需求的妆容样式，输入到训练好的阴影去除模型和妆容迁移模模型中，得到妆容样式呈现在用户脸上的效果。

本发明利用了解耦表示方法实现了自然场景下的妆容迁移，针对该方法在实际场景中的应用需求，即在自然场景特别是有阴影干扰的环境下实现妆容迁移，运用了双通道层次聚合网络来进行阴影的控制，同时采用解耦将源图像和目标图像的身份和妆容信息投射到不同特征域内，将所需的特征向量进行特征融合，得到妆容迁移后的特征向量，从而做到在阴影干扰妆容颜色分布的情况下也能进行实时妆容迁移，将眼影、腮红、唇彩等妆容呈现在源图像的面部，并保持人物身份不被改变。

附图说明