[发明专利]一种基于人脸照片生成漫画人像的图像转换系统及方法

说明书

本发明提供了一种基于人脸照片生成漫画人像的图像转换系统及方法，涉及深度学习、计算机视觉和图像处理等技术。本系统包括面部区域截取模块、几何特征获取模块、外观转化模块、几何转化模块和合成模块。本方法对从人脸照片中获取的五官图像利用相应的图像到图像转换网络转换为漫画风格的外观特征；对获取的五官关键点坐标集合利用坐标到坐标的转换网络获得漫画风格的几何位置特征；最后组合输出漫画人像。其中，本发明还提供了一个相似度保留模块和结构平滑损失函数。本发明实现了模拟人类画师的漫画人像转换，保留了漫画家对于不同面部区域的布局手法、面部轮廓几何上的夸张形变，输出结果干扰像素更少、更加整洁、视觉效果更高。

技术领域

本发明涉及深度学习技术、计算机视觉技术和图像处理技术，尤其涉及一种人脸到漫画人像的生成技术。

背景技术

本发明所涉及的漫画(manga)特指日本式黑白漫画，其通常使用黑白色彩和几何夸张来描述人类的外观，姿势和动作。将面部照片自动转换为漫画是一项图像到图像的转换任务，其目的为将输入的内容图像转化为目标艺术化图像。近年来，基于深度学习的图像到图像的翻译取得了显著进展，最近的研究提出了一系列系统的方法。例如，神经风格迁移(neural style transfer)方法；基于生成式对抗神经网络GAN(Generative AdversarialNets)的方法。

然而，基于现有的技术，面向人脸到漫画形象的生成方法通常针对整张图像进行转换，其难以捕捉漫画对真实人物五官和脸型间不同的描绘手法、线条结构和几何夸张，其生成效果与人类画师的作品相差甚远，难以生成逼真的黑白漫画形象。

发明内容

本发明的目的是提供一种模拟人类画师的，基于不同面部区域外观特征和几何分布，根据人脸照片生成漫画人像的自动化方法和系统，称作MangaGAN，以解决现有技术由人脸生成漫画的各种性能的综合效果较差的问题。

本发明提供了一种基于人脸照片生成漫画人像的图像转换系统，在计算机上实现的功能模块包括：面部区域截取模块、几何特征获取模块、外观转化模块、几何转化模块和合成模块。面部区域截取模块从输入的人脸照片裁剪得到不同面部区域的图像，输入外观转化模块。几何特征获取模块从输入的人脸照片中识别获得不同面部区域的关键点坐标集合，输出给几何转化模块。外观转化模块中存储有预先训练好的针对不同面部区域图像的图像到图像的转换网络，对输入的不同面部区域利用相应的转换网络生成漫画风格的外观特征图像，输出给合成模块。几何转化模块中存储有预先训练好的针对不同面部区域、面部轮廓的关键点坐标集合的坐标到坐标的转换网络，根据所输入的关键点坐标集合生成漫画风格的几何位置坐标，输出给合成模块。合成模块将输入的外观特征图像和几何位置坐标组合，输出漫画人像。

相应的，本发明提供了一种基于人脸照片生成漫画人像的图像转换方法，包括：

首先，从输入的正面人物照片中提取人脸上不同的面部区域，获取不同面部区域的关键点坐标集合，获取面部轮廓的关键点坐标集合；

其次，将提取的不同面部区域图像，通过对应的预先训练好的图像到图像转换网络，生成漫画风格的外观特征图像；预先设置的图像到图像转换方法包括但不限于风格迁移方法、对抗生成神经网络方法、图像处理方法；如对提取的左眼、右眼、鼻子、嘴巴和发型的面部区域，分别生成漫画风格左眼、漫画风格右眼、漫画风格鼻子、漫画风格嘴巴、漫画风格发型图像；所涉及的漫画风格可以是任意漫画家的作品风格。

其中，对右眼区域图像和左眼区域图像、嘴巴区域图像使用基于CycleGAN的转换网络N^eye、N^mouth进行漫画风格转换；在转换网络N^eye和N^mouth中增加相似度保留模块，对输入的图像提取不同空间大小和分辨率的特征图；在训练转换网络N^eye和N^mouth时，增加结构平滑损失。