[发明专利]人像卡通化方法、装置、介质和计算设备

说明书

本公开的实施方式提供了一种人像卡通化方法、装置、介质和计算设备。该方法应用于搭载了轻量级的第一生成对抗网络模型的移动终端，包括：在检测到视频帧图像包括人脸特征时，对视频帧图像进行图像分割处理，得到包含人脸特征的真实人脸图像和背景图像；将真实人脸图像输入第一生成对抗网络模型，以对真实人脸图像进行人像卡通化处理，并获取第一生成对抗网络模型输出的卡通人脸图像；其中，第一生成对抗网络模型的模型参数为通过模型蒸馏的方式，从与移动终端对应的服务端上搭载的全量级的第二生成对抗网络模型中迁移出的模型参数；将由第一生成对抗网络模型生成的卡通人脸图像与背景图像进行图像融合处理，得到人像卡通化处理后的视频帧图像。

技术领域

本公开的实施方式涉及计算机应用领域，更具体地，本公开的实施方式涉及一种人像卡通化方法、装置、介质和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着移动终端技术的发展，移动终端的设备性能逐渐提高，运行在移动终端上的图像拍摄APP(Application，应用程序)、视频录制APP等软件也开始涌现。在现实生活中，这些软件使用先进的图像处理技术和机器学习技术，为用户提供了各种各样的拍摄特效，例如：人像美颜、人像美妆，以及人像卡通化、三维动画化等。

具体地，人像卡通化是指利用图像处理技术对图像或视频中的真实人脸图像部分进行卡通化处理，得到卡通样式的人脸图像。

发明内容

在本上下文中，本公开的实施方式期望提供一种人像卡通化方法、装置、介质和计算设备。

在本公开实施方式的第一方面中，提供了一种人像卡通化方法，应用于移动终端，所述移动终端上搭载了用于生成与真实人脸图像对应的卡通人脸图像的轻量级的第一生成对抗网络模型；所述方法包括：

检测采集到的视频帧图像是否包括人脸特征；

如果所述视频帧图像包括人脸特征，对所述视频帧图像进行图像分割处理，得到包含所述人脸特征的真实人脸图像和与所述真实人脸图像对应的背景图像；

将所述真实人脸图像输入所述第一生成对抗网络模型，以对所述真实人脸图像进行人像卡通化处理，并获取所述第一生成对抗网络模型输出的与所述真实人脸图像对应的卡通人脸图像；其中，所述第一生成对抗网络模型的模型参数为通过模型蒸馏的方式，从与所述移动终端对应的服务端上搭载的用于生成与真实人脸图像对应的卡通人脸图像的全量级的第二生成对抗网络模型中迁移出的模型参数；

将由所述第一生成对抗网络模型生成的所述卡通人脸图像与所述背景图像进行图像融合处理，得到人像卡通化处理后的所述视频帧图像，以完成针对所述视频帧图像的人像卡通化处理。

可选地，所述第一生成对抗网络模型在所述服务端上训练完成；

所述第一生成对抗网络模型的训练过程包括：

基于预设的训练样本集对作为教师模型的所述第二生成对抗网络模型进行对抗训练；其中，所述训练样本集包括由若干真实人脸图像样本构成的真实人脸样本集和由若干卡通人脸图像样本构成的第一卡通人脸样本集；

获取训练完成的所述第二生成对抗网络模型输出的与所述真实人脸样本集中的真实人脸图像样本对应的卡通人脸图像样本，以由所述卡通人脸图像样本构成第二卡通人脸样本集；

将所述训练样本集和所述第二卡通人脸样本集作为蒸馏样本集，对作为学生模型的所述第一生成对抗网络模型进行模型蒸馏训练，以从所述第二生成对抗网络模型中迁移出模型参数，作为所述第一生成对抗网络模型的模型参数。

可选地，所述生成对抗网络模型包括循环生成对抗网络模型。

可选地，所述循环生成对抗网络模型为UGATIT模型。