[发明专利]基于语义分割的人脸上妆方法和系统

说明书

本发明涉及计算机视觉与模式识别技术，公开了基于语义分割的人脸上妆方法和系统；其包括的步骤为，收集数据，收集训练所需的人脸图像数据；数据预处理，人脸语义分割，对预处理后的数据通过BiseNet网络进行语义分割，并获得人脸图像的五官位置；模型训练，对训练后的人脸模型进行妆容迁移训练，得到最终人脸妆容图像。本发明使用人脸分割网络获得妆容迁移的具体对象，避免操作整幅图像出现的迁移不足或者迁移错误；上妆前和上妆后身份信息一致；通过区域一致性损失来保证五官信息等不会发生改变；通过生成式对抗网络作为基础模型，通过生成器和判别器的自我博弈，实现人脸图像的自动上妆。本发明整个设计实现简单，采用的方法其妆容迁移指向性强。

技术领域

本发明涉及计算机视觉与模式识别技术，尤其涉及了基于语义分割的人脸上妆方法和系统。

背景技术

虚拟化妆软件在照片或者短视频上尝试将不同的妆容，如口红、眼影、腮红等；在人脸之间进行迁移，逐渐变得越来越受欢迎。将适合的参考图像的化妆风格自然地迁移到未化妆人脸图像上，可以广泛应用于摄影、视频、娱乐和时尚等领域。

目前进行人脸妆容迁移的方法分别是基于数字图像处理和基于深度学习的方式。前者通过对输入图像进行像素变换、仿射变换实现目标妆容的添加或修改，主要包含面部区域定位和对齐；妆容算法映射；外观修正等步骤，但其对于配对图像的要求较高，需要其满足：肤色相近，背景单一，且数量多；后者主要是利用深度神经网络实现不同妆容间的迁移，包含五官分析，妆容匹配及上妆，后处理等步骤，框架和流程都更加简单，不需要严格配对的图像就能完成妆容的自动迁移。

例如专利名称为：一种人脸图像自动上妆方法；专利申请号为：CN202010321808.5；申请日期为：2020-04-22；针对该技术使用语义分割获取目标区域的掩码，并用0-255标注，主要目的是：消除背景及非妆容区域，提取目标区域的特征作为身份信息；类似于双支路的网络结构，对于无妆图像：一条支路使用掩码处理图像，然后提取特征作为身份信息；另一条支路提取整张图像特征作为妆容信息。对于有妆图像，提取整幅图像特征作为妆容信息；

例如专利名称为：一种人脸上妆方法、装置、设备及介质；专利申请号为：CN201910918021.4；申请日期为：2019-09-26；针对该技术，只需要输入一张无妆人脸图像，首先进行人脸关键点检测，使用关键点对预设部位进行上妆；语义分割的结果用来确定图像中未被遮挡的人脸区域，根据未被遮挡的区域对人脸上妆结果进行修正，其准确性差。

现有技术的人脸上妆方法，其移图像身份信息保持的问题，且在部分区域的迁移妆容上，结果表现不够自然。

发明内容

本发明针对现有技术的人脸上妆方法，其移图像身份信息保持的问题，且在部分区域的迁移妆容上，结果表现不够自然的问题，提供了基于语义分割的人脸上妆方法和系统。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

基于语义分割的人脸上妆方法，其包括的步骤为，收集数据，收集训练所需的人脸图像数据；

数据预处理，对收集的人脸图像数据进行预处理，人脸对齐和人脸裁剪；

人脸语义分割，对预处理后的数据通过BiseNet网络进行语义分割，并获得人脸图像的五官位置；

模型训练，对于语义分割后的人脸图像进行网络结构搭建和损失函数设计，得到训练的人脸模型；并对训练后的人脸模型进行妆容迁移训练，得到最终人脸妆容图像。

通过使用人脸语义分割为人脸妆容迁移提供明确指向，以解决妆容迁移出现错误的情况。此外，使用区域一致性损失保证妆容迁移前后身份信息的保持，避免迁移前后身份信息发生变化的情况。

作为优选，还包括，人脸模型测试，将无妆的测试图像和带妆的参考图像通过网络模型处理，将带妆的参考图像迁移至无妆的测试图像上。