[发明专利]一种基于学习几何和纹理风格迁移的人脸漫画生成方法

说明书

本发明公开一种基于学习几何和纹理风格迁移的人脸漫画生成方法，基于几何形变模块获取人脸变形图；纹理迁移模块遵循流形对齐风格转移假设，并基于神经网络优化方式迁移新风格；对于形变图与漫画的局部相似语义区域，纹理迁移模块约束风格化输出与漫画风格图具备相似特征图；并通过StyleGAN生成风格多样的艺术漫画增广风格数据集合，允许隐空间插值的方式获取多种漫画，从而实现了多样化人脸漫画生成。本发明可以夸大人的脸部特点，定制地获取不同艺术家的几何形变风格；有针对地对几何扭曲和纹理渲染，结合插值可控的漫画风格图，使得生成的人脸漫画图像更加逼真与多样。

技术领域

本发明属于计算机应用领域，具体涉及一种基于学习几何和纹理风格迁移的人脸漫画生成方法。

背景技术

人脸漫画是一种通过夸大强调任务的特征，从而表达特定情感并给人留下深刻印象的艺术形式，它具有丰富灵活的多样性，深受大众喜爱。一方面，人脸漫画可以有不同的刻画形式，例如简笔画、素描、油画等；另一方面，人脸漫画也可以通过不同的夸大风格表达不同的情感。同时，漫画创作者也有各自的艺术风格和表达方式，从而进一步增加了人脸漫画这一艺术形式的多样性。

人脸漫画通常需要由一些具有专业技能的艺术家创作而成，因此往往只有一些名人等少数人才会有自己个人的漫画形象。随着互联网和移动互联网的发展普及，越来越多的普通人希望拥有属于自己的漫画形象，而通过专业艺术家创作的形式不仅不方便，而且成本较高。因此，通过计算机技术根据人脸照片自动生成对应的漫画形象受到了人们的关注和青睐。要产生逼真的漫画，需要解决两个关键问题。一种是执行面部几何形变以夸大人物面部的某些关键特征。另一种是合成类似于真实漫画的纹理或风格。关于漫画生成已经存在大量工作。传统的人脸漫画自动生成方法主要分为基于规则的方法和基于样本的方法两大类。其中，基于规则的方法通过人为预设的规则对照片进行调整来生成人脸漫画，例如通过计算输入人脸照片与平均人脸之间的差异，并夸大最突出的差异，来生成漫画；基于样本的方法需要先收集一个漫画样本库，然后对于每张输入照片检测其五官、轮廓等形状信息，然后从样本库中搜索最匹配的漫画五官、轮廓来组成一个新的漫画形象。可以看出，这些方法的局限性在于，夸张风格受预定义的规则和样例的限制。近年来，随着深度学习在计算机视觉领域的广泛应用，一些基于深度学习的跨域图像转换方法如Cycle-GAN，MUNIT等，能够将人脸照片转换为漫画的风格，但这类方法生成的漫画缺少形状上的夸大；另外，随着生成对抗网络(GAN)的发展，有一些学者尝试使用GAN来生成漫画。但是，使用GAN生成漫画的主要缺点是需要大量数据进行训练。而且，生成的漫画是人类无法进行定制和修改的。例如，Warp-GAN在基于深度学习的风格转换基础上通过Warping的方式对人脸形状进行夸大，使生成的漫画在色彩和形状上都比较逼真。但这些方法对于同一张输入照片只能生成固定的形状夸大风格，无法满足人们对漫画风格多样性的需求。一般来说，人脸漫画自动生成存在如下难点：1)根据人脸照片生成一张人脸漫画，不仅要求对图像的色彩风格进行转换，还需要根据输入人脸的特点、艺术创作风格等对图像进行形状上的夸大处理；2)人脸漫画这一艺术形式具有丰富的多样性，根据同一照片进行漫画创作，也会因为不同的创作手段、表达不同的情感，艺术家的不同风格等，在漫画的色彩和形状上都产生各种不同的风格；3)此外，对于纹理风格迁移过程，主要限制是生成漫画图像会限于数据集提供的风格。

发明内容

发明目的：本发明针对人脸漫画自动生成这一任务提出了一种基于学习几何和纹理风格迁移的人脸漫画生成方法，使用纯风格迁移的方法迁移漫画形变和纹理，允许用户灵活定制，能够对一张人脸照片生成多种形变风格的漫画。

技术方案：本发明所述的一种基于学习几何和纹理风格迁移的人脸漫画生成方法，包括以下步骤：

(1)获取人脸和漫画关键点：通过人脸关键点提取算法获取人脸照片和漫画照片的关键点；

(2)构建人脸和漫画分布：将预先获取的人脸照片漫画图像数据集，划分训练集与测试集，加载人脸照片关键点分布与漫画关键点分布的表示矩阵；