[发明专利]一种基于深度学习的肖像图像双下巴去除方法

说明书

本发明公开了一种基于深度学习的肖像图像双下巴去除方法，包括以下步骤：随机采样训练得到粗糙双下巴分离边界，经过语义扩散细化得到对应的精细双下巴分离边界；输入需要去除双下巴的肖像图像并进行预处理，得到在StyleGAN2隐空间中对应的隐码；利用训练得到的精细双下巴分离边界对得到的隐码进行编辑，输出一张没有双下巴并且保持其他面部特征不变的新肖像图像；提取出新肖像图像的脖颈区域的掩膜；用图像扭曲方法调整新肖像图像中的偏差，使新肖像图像的脖颈和下巴无缝嵌入到所述需要去除双下巴的肖像图像中，计算得到去除双下巴后的肖像图像。本发明能够在保持人脸的其他特征不变的情况下进行双下巴的去除，实现快速自动地去除肖像照片中的双下巴。

技术领域

本发明涉及肖像编辑技术领域，特别是涉及一种基于深度学习的肖像图像双下巴去除方法。

背景技术

随着移动网络和摄影技术的飞速发展，以人脸为主要表现形式的肖像图像随处可见。特别是由于社交媒体应用在人类社会生活中占有的地位逐步升高，为了给他人更好的第一印象，使得肖像图像在社交媒体应用中变得非常重要。社交媒体应用的用户经常使用修饰工具来进一步美化他们的肖像图像，通过调整面部颜色形状，纠正阴影、噪声、畸变等问题。

肖像图像中的双下巴的出现不仅仅取决于下巴和脖颈的特征，也取决于人脸姿态和光照条件。大多数用户认为，消除肖像图像中的双下巴能够改进人脸的吸引力。

现阶段双下巴技术主要是通过美工利用Photoshop软件进行手动编辑会耗费大量人力物力。

“Maskgan:Towards diverse and interactive facial image manipulation”(In Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition,pages 5549-5558,2020)公开了使用掩膜作为中间表示来交互式编辑人脸，但是在人脸特征保持上并不理想。

“Interpreting the Latent Space of GANs for Semantic Face Editing”(InProceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition,pages9243-9252,2020)公开了一种能寻求语义属性在隐空间中对应的分离边界的方法，通过用分离边界编辑隐码，达到语义编辑的目的，但是语义无法被有效地解纠缠。

“A morphable model for the synthesis of 3D faces.”(InProceedings ofthe 26th annual conference on Computer graphics and interactive techniques,pages 187-194,1999)公开了三维形变模型(3DMM)，所述三维形变模型能够用参数表示三维人脸，但是没有对脖颈区域的有效建模。

“A style-based generator architecture for generative adversarialnetworks.”(InProceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition,pages 4401-4410,2019)和“Analyzing and improving the imagequality of stylegan”(InProceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition,pages 8110-8119,2020)公开了StyleGAN，所述StyleGAN是一种在生成非常高质量的图像的同时，构建一个解纠缠的隐空间的生成对抗模型。