[发明专利]动漫图像生成方法、装置、电子设备及存储介质

说明书

本发明实施例提供一种动漫图像生成方法、装置、电子设备及存储介质；方法包括：获取待转换的涂鸦作品，根据所述待转换的涂鸦作品生成所述待转换的涂鸦作品的特征图；将所述待转换的涂鸦作品的特征图输入动漫图像生成模型，生成由所述待转换的涂鸦作品转换而来的动漫图像。本发明实施例提供的动漫图像生成方法、装置、电子设备及存储介质，通过提取涂鸦作品的边缘轮廓图，并输入动漫图像生成模型，实现了与涂鸦作品对应的动漫图像的自动生成，能极大降低动漫制作人员的工作量，提升动漫图像的绘制效率。

技术领域

本发明涉及图像处理领域，尤其涉及一种动漫图像生成方法、装置、电子设备及存储介质。

背景技术

随着科学技术的不断发展，动漫逐渐成为了用户日常消遣娱乐的主要方式这一。动漫在制作过程中需要绘制大量的动漫图像。目前对动漫图像的绘制主要依赖于人工实现。虽然制作人员已经通过电脑等辅助工具提高了动漫图像的绘制效率，但仍然离不开人的深度参与，动漫图像的绘制依然是一个需要花费大量人力成本和时间的工作。

动漫领域中的涂鸦是在动漫草图的基础上进行上色所形成的作品。与动漫图像相比，涂鸦作品在线条的精细程度与颜色的丰富程度上都有一定的差距。涂鸦作品一般是动漫制作者在对作品内容起草稿大纲的时候所绘制的。

在现有技术中，为了可以更高效地生成动漫图像，现有技术人员利用深度学习技术，采用生成式对抗网络(Generative Adversarial Network，GAN)在图像应用方面进行了许多尝试，现有GAN在不同的限制条件下发展了多种版本。有针对数据集不成对的CycleGAN，该版本同时训练两个镜像对称GAN构成一个环形网络，可以不需要提供成对数据集；有针对手绘卡通转换的CartoonGAN，该版本对现实世界照片和漫画图像建立映射，可以将自然图片转换成高质量的风格化漫画；有将简单涂鸦转换为逼真的自然照片的GauGAN；有自动补全、修复图像缺失部分的GAN等，都取得了良好的效果。

GAN在动漫图像的应用上，目前主要有动漫风格转换，动漫自动上色，二次元头像生成等。现有技术中尚不能将涂鸦作品涂鸦作品自动转换成动漫图像。

发明内容

本发明实施例提供一种动漫图像生成方法、装置、电子设备及存储介质，用以解决现有技术中不能将带有轮廓的涂鸦作品自动转换成动漫图像的缺陷。

本发明第一方面实施例提供了一种动漫图像生成方法，包括：

获取待转换的涂鸦作品，根据所述待转换的涂鸦作品生成所述待转换的涂鸦作品的特征图；

将所述待转换的涂鸦作品的特征图输入动漫图像生成模型，生成由所述待转换的涂鸦作品转换而来的动漫图像；其中，

所述动漫图像生成模型是基于涂鸦作品以及与所述涂鸦作品对应的动漫图像，通过对生成式对抗网络进行训练得到的。

上述技术方案中，还包括：

采集多组动漫图像和涂鸦作品；同一组中的动漫图像和涂鸦作品具有对应关系；

根据所述多组动漫图像和涂鸦作品，通过对生成式对抗网络的训练得到动漫图像生成模型。

上述技术方案中，所述特征图包括边缘轮廓图和/或颜色分布图；其中，所述颜色分布图是对图像做中值滤波和平滑颜色域后得到的。

上述技术方案中，所述特征图包括边缘轮廓图；相应地，所述根据所述多组动漫图像和涂鸦作品，通过对生成式对抗网络的训练得到动漫图像生成模型包括：

构建生成式对抗网络，所述生成式对抗网络包括生成器和判别器；

根据动漫图像生成存在区域空缺的动漫图像；

根据与所述动漫图像对应的涂鸦作品生成涂鸦作品的边缘轮廓图；