[发明专利]用于生成卡通图像的方法、计算设备和存储介质

说明书

本公开提供了一种生成卡通图像方法、计算设备和计算机可读存储介质。该方法包括：获取关于目标对象的目标对象图像和关于卡通对象的卡通图像；基于目标区域的属性信息，针对目标对象图像和卡通图像进行分类；确定具有相同的属性信息的目标对象输入图像和卡通输入图像；经由第一生成器，将目标对象输入图像转化为卡通转化图像以便生成目标对象重建图像；经由第二生成器，将卡通输入图像转化为目标对象转化图像以便生成卡通重建图像；以及经由第一判别器和第二判别器，分别确定目标对象重建图像和卡通重建图像的真伪，以用于训练第一神经网络模型。本公开能够显著提高用于人像转换的模型的学习效率、以及提升所生成卡通图像与人像原图的相似度。

技术领域

本发明概括而言涉及机器学习领域，更具体地，涉及一种用于生成卡通图像的方法、计算设备和计算机可读存储介质。

背景技术

随着各种社交平台的不断发展，越来越多的用户将自拍图像转换成具有卡通化人像效果的图像。传统的生成卡通图像的方案例如是利用人像原图和卡通图作为训练数据，对基于神经网络所构建的人像转换模型进行训练，以便生成卡通化人像图像。

在上述传统的生成卡通图像的方案中，通常随机选取人像原图和卡通图作为训练数据，采用无监督学习的训练方式，对人像转换模型进行训练。由于随机选取的人像原图和卡通图通常存在较大差异，一方面这种差异性引导会给网络的学习增加难度、降低模型的学习效果；另一方面显著降低了所生成的卡通图像与真人图像的相似度。

综上，传统的生成卡通图像的方案存在的不足之处在于：人像转换模型的网络学习难度较高、学习效率较低，并且所生成的卡通图像与人像原图的相似度较低。

发明内容

针对上述问题，本发明提供了一种用于生成卡通图像的方法、计算设备和计算机可读存储介质，能够显著提高用于人像转换的模型的学习效率、以及提升所生成卡通图像与人像原图的相似度。

根据本发明第一方面，提供了一种生成卡通图像方法。该方法包括：获取关于目标对象的目标对象图像和关于卡通对象的卡通图像；基于目标对象和卡通对象的目标区域的属性信息，针对目标对象图像和卡通图像进行分类，以用于生成目标对象输入图像和卡通输入图像；确定具有相同的属性信息的目标对象输入图像和卡通输入图像，以用于训练第一神经网络模型，第一神经网络模型包括第一生成器、第二生成器、第一判别器和第二判别器；经由第一生成器，将目标对象输入图像转化为卡通转化图像，以用于基于卡通转化图像生成目标对象重建图像；经由第二生成器，将卡通输入图像转化为目标对象转化图像，以用于基于目标对象转化图像生成卡通重建图像；以及经由第一判别器和第二判别器，分别确定目标对象转化图像和卡通转化图像的真伪，以用于训练第一神经网络模型，经训练的第一神经网络模型用于基于所获取的用户图像生成关于用户的卡通图像。

根据本发明的第二方面，提供了一种计算设备。该计算设备包括：至少一个处理器；以及至少一个存储器，该至少一个存储器被耦合到该至少一个处理器并且存储用于由该至少一个处理器执行的指令，该指令当由该至少一个处理器执行时，使得该计算设备执行根据本公开第一方面的方法。

根据本发明的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序代码，该计算机程序代码在被运行时执行根据本公开第一方面的方法。

在一些实施例中，用于生成卡通图像还包括：交替地利用具有不同属性信息的多个输入图像组来训练第一神经网络模型，多个输入图像组中的每一个输入图像组中所包括的目标对象输入图像和卡通输入图像具有相同的属性信息。

在一些实施例中，基于卡通转化图像生成目标对象重建图像包括：将卡通转化图像输入第二生成器的编码器，以便生成第一编码；经由第二生成器的残差注意力模块，提取第一编码的特征；以及经由第二生成器的解码器，将所提取的第一编码的特征转化为目标对象重建图像。