[发明专利]漫画人脸生成方法及装置

说明书

本公开提供一种漫画人脸生成方法及装置。本公开的方法包括基于待处理的原始人脸图片，通过预先构建的人脸解析生成模型，获取所述原始人脸图片的人脸解析信息；根据所述人脸解析信息，通过预先构建的漫画人脸生成模型，生成与所述原始人脸图片对应的漫画人脸，其中，所述漫画人脸生成模型基于条件生成对抗网络构建，并在所述漫画人脸生成模型的生成器和判别器中加入所述人脸解析信息，利用所述人脸解析信息对生成器的解码器特征进行调控。本公开实施例提供一种漫画人脸生成方法及装置，生成的漫画人脸线条简约柔顺、五官干净，并且能够捕捉人脸微表情，使用最少的线条丰富人物形象。

技术领域

本公开涉及计算机技术领域，尤其涉及一种漫画人脸生成方法及装置。

背景技术

虽然现在有很多的研究异质人脸生成相关的工作，但大多数集中在素描、夸张漫画人脸、近红外光人脸等的合成上，鲜少有将人脸转换成简约漫画风格等工作。

其次目前并没有任何公开的关于人脸简约线条漫画风格的成对数据集，且目前绝大多数的漫画数据集都是非成对的。并且越来越多的人们喜欢在社交平台上使用自己的夸张漫画、卡通画或者简约线条画，并以此来作为自己的虚拟社交形象，而非单调地使用自己的真实照片。

更重要的是在真实生活中，线条画人物的创作对于没有美术功底的人来说是非常难实现的，并且请美术生为自己设计专属线条画是非常消耗时间及金钱的，所以，能够有一个自动将人脸转换成简约漫画的工作就显得非常必要和有意义。

近年来条件生成对抗网络在异质人脸画像的生成中有着很广泛的应用，在CGAN的具体实现中，它采用了U-Net折中“U”型跳接的编码器-解码器来作为生成器网络结构，同时也加入了L1Loss来改善细节不足的问题。

但是单纯使用该模型不足以让我们的简约漫画生成的研究工作达到很好的效果，比如简约画线条的简约柔顺程度、五官生成的干净程度、甚至照片中人脸微表情的捕捉等。由于简约线条画的最大特点就是使用最少的线条来表现最丰富的人物形象，这将意味着我们生成的每一根线条都至关重要。然而本身线条的减少随之带来的问题就是生成出来的简约漫画与照片中的人物不相像，所以，人物眼睛以及微表情的生成对于我们的任务来说将会至关重要，同时也具有很大的挑战。

发明内容

本公开实施例提供一种漫画人脸生成方法及装置，生成的漫画人脸线条简约柔顺、五官干净，并且能够捕捉人脸微表情，使用最少的线条丰富人物形象。

本公开实施例的第一方面，提供一种漫画人脸生成方法，所述方法包括：

基于待处理的原始人脸图片，通过预先构建的人脸解析生成模型，获取所述原始人脸图片的人脸解析信息；

根据所述人脸解析信息，通过预先构建的漫画人脸生成模型，生成与所述原始人脸图片对应的漫画人脸，

其中，所述漫画人脸生成模型基于条件生成对抗网络构建，并在所述漫画人脸生成模型的生成器和判别器中加入所述人脸解析信息，利用所述人脸解析信息对生成器的解码器特征进行调控。

在一种可选的实施方式中，在获取所述原始人脸图片的人脸解析信息之前，所述方法还包括对所述原始人脸图片进行预处理，所述对所述原始人脸图片进行预处理的方法包括：

根据预先建立的人脸关键点数据库，检测所述原始人脸图片的人脸关键点；

基于所述人脸关键点，获取所述原始人脸图片中两只眼睛的距离；

通过所述两只眼睛的距离，将所述原始人脸图片裁剪至目标尺寸。

在一种可选的实施方式中，

所述漫画人脸生成模型基于条件生成对抗网络构建，所述漫画人脸生成模型包括生成器和判别器；

所述生成器包括编码器和解码器，所述编码器和所述解码器之间包括类激活映射CAM模块；