[发明专利]基于参考图像的线稿上色模型的训练方法以及装置

说明书

本发明公开了一种基于参考图像的线稿上色模型的训练方法，能够利用多组训练样本，训练线稿上色模型获取参考图像的语义信息特征，并根据语义信息特征对线稿进行上色，得到上色线稿，然后对上色线稿和对比线稿进行鉴别，并不断调整模型参数直至鉴别结果满足预设要求。可见，该方法训练得到的模型能够获取参考图像中的语义信息特征，并利用语义信息特征对线稿进行上色，因而能够通过切换不同的参考图像来为线稿上不同风格的色彩，避免了色彩风格单一的问题。此外，本发明还提供了基于参考图像的线稿上色模型的训练装置、设备和计算机可读存储介质，以及基于参考图像为线稿上色的方法和装置，其作用与上述训练方法的作用相对应。

技术领域

本发明涉及计算机领域，特别涉及一种基于参考图像的线稿上色模型的训练方法、装置、设备和计算机可读存储介质，以及一种基于参考图像为线稿上色的方法和装置。

背景技术

在一些领域，例如动漫领域，在绘画过程中，人们经常利用线条来勾勒物体的形状轮廓等，这里利用黑色线条勾勒物体形状轮廓的图像就叫做线稿。为了让图像更加丰富多彩，在实际应用中，经常需要对线稿进行上色。传统都是通过人工对线稿进行上色，但是当线稿数量非常大时，人工进行上色的工作量会非常大，且耗时严重。

一种常见的对线稿进行上色的方法，是预先利用线稿和已经上好色的线稿对上色模型进行训练，然后将线稿输入训练好的上色模型，上色模型就可以直接对线稿进行上色。

但是，这种上色模型所上的颜色完全依赖于上色模型，因此，这种上色模型上色的线稿往往色彩风格千篇一律，甚至会发生色彩不协调的情况。

可见，如果解决传统训练方法训练出来的线稿上色模型上色出的线稿色彩风格单一，是亟待本领域技术人员解决的问题。

发明内容

本发明的目的是提供一种基于参考图像的线稿上色模型的训练方法、装置、设备和计算机可读存储介质，以及一种基于参考图像为线稿上色的方法和装置，用以解决传统训练方法训练出来的线稿上色模型上色出的线稿色彩风格单一的问题。

为解决上述技术问题，本发明提供了一种基于参考图像的线稿上色模型的训练方法，包括：

获取多组训练样本，所述训练样本包括参考图像、线稿和预先经过上色的对比线稿；

预先构建线稿上色模型，所述线稿上色模型包括分类器、生成器和鉴别器；

通过分类器确定所述参考图像的语义信息特征向量；

根据所述语义信息特征向量，利用所述生成器为所述线稿进行上色，得到上色线稿；

利用所述鉴别器对所述上色线稿和所述对比线稿进行鉴别，得到鉴别结果；

调整所述线稿上色模型的模型参数，直至所述鉴别结果满足预设要求，以完成所述线稿上色模型的训练。

其中，所述分类器为VGG19；

所述通过分类器确定所述参考图像的语义信息特征向量包括：

将所述参考图像输入VGG19，将所述VGG19在预设层的输出向量作为语义信息特征向量。

其中，所述生成器为U-net神经网络，且所述U-net神经网络的中间层设置有辅助解码器。

其中，所述调整所述线稿上色模型的模型参数，直至所述鉴别结果满足预设要求，以完成所述线稿上色模型的训练包括：

判断所述鉴别结果是否为不合格；

若所述鉴别结果为不合格，则确定所述上色线稿和所述对比线稿之间的梯度信息；

根据所述梯度信息，调整所述线稿上色模型的模型参数，直至所述鉴别结果满足预设要求，以完成所述线稿上色模型的训练。