[发明专利]人像卡通化方法、装置、介质和计算设备

权利要求书

1.一种人像卡通化方法，应用于移动终端，所述移动终端上搭载了用于生成与真实人脸图像对应的卡通人脸图像的轻量级的第一生成对抗网络模型；所述方法包括：

检测采集到的视频帧图像是否包括人脸特征；

如果所述视频帧图像包括人脸特征，对所述视频帧图像进行图像分割处理，得到包含所述人脸特征的真实人脸图像和与所述真实人脸图像对应的背景图像；

将所述真实人脸图像输入所述第一生成对抗网络模型，以对所述真实人脸图像进行人像卡通化处理，并获取所述第一生成对抗网络模型输出的与所述真实人脸图像对应的卡通人脸图像；其中，所述第一生成对抗网络模型的模型参数为通过模型蒸馏的方式，从与所述移动终端对应的服务端上搭载的用于生成与真实人脸图像对应的卡通人脸图像的全量级的第二生成对抗网络模型中迁移出的模型参数；

将由所述第一生成对抗网络模型生成的所述卡通人脸图像与所述背景图像进行图像融合处理，得到人像卡通化处理后的所述视频帧图像，以完成针对所述视频帧图像的人像卡通化处理。

2.根据权利要求1所述的方法，所述第一生成对抗网络模型在所述服务端上训练完成；

所述第一生成对抗网络模型的训练过程包括：

基于预设的训练样本集对作为教师模型的所述第二生成对抗网络模型进行对抗训练；其中，所述训练样本集包括由若干真实人脸图像样本构成的真实人脸样本集和由若干卡通人脸图像样本构成的第一卡通人脸样本集；

获取训练完成的所述第二生成对抗网络模型输出的与所述真实人脸样本集中的真实人脸图像样本对应的卡通人脸图像样本，以由所述卡通人脸图像样本构成第二卡通人脸样本集；

将所述训练样本集和所述第二卡通人脸样本集作为蒸馏样本集，对作为学生模型的所述第一生成对抗网络模型进行模型蒸馏训练，以从所述第二生成对抗网络模型中迁移出模型参数，作为所述第一生成对抗网络模型的模型参数。

3.根据权利要求2所述的方法，所述第二生成对抗网络模型包括以下示出的多个子模型：

卡通人像生成子模型，用于生成与真实人脸图像对应的卡通人脸图像；

全局卡通人像鉴别子模型，用于基于卡通人脸图像的全部图像，鉴别所述卡通人脸图像是否为由所述卡通人像生成子模型生成的卡通人脸图像；

局部卡通人像鉴别子模型，用于基于对卡通人脸图像进行裁剪得到的局部图像，鉴别所述卡通人脸图像是否为由所述卡通人像生成子模型生成的卡通人脸图像；

真实人像生成子模型，用于生成与卡通人脸图像对应的真实人脸图像；

全局真实人像鉴别子模型，用于基于真实人脸图像的全部图像，鉴别所述真实人脸图像是否为由所述真实人像生成子模型生成的真实人脸图像；

局部真实人像鉴别子模型，用于基于对真实人脸图像进行裁剪得到的局部图像，鉴别所述真实人脸图像是否为由所述真实人像生成子模型生成的真实人脸图像。

4.根据权利要求3所述的方法，所述第一生成对抗网络模型包括以下示出的多个子模型：

卡通人像生成子模型，用于生成与真实人脸图像对应的卡通人脸图像；

全局卡通人像鉴别子模型，用于基于卡通人脸图像的全部图像，鉴别所述卡通人脸图像是否为由所述卡通人像生成子模型生成的卡通人脸图像；

局部卡通人像鉴别子模型，用于基于对卡通人脸图像进行裁剪得到的局部图像，鉴别所述卡通人脸图像是否为由所述卡通人像生成子模型生成的卡通人脸图像。

5.根据权利要求4所述的方法，所述移动终端上还搭载了用于对图像进行人像分割处理的人像分割模型；其中，所述真实人脸样本集中的真实人脸图像样本中被标注了包含人脸特征的人脸特征区域；所述人像分割模型为将所述第一生成对抗网络模型中的卡通人像生成子模型从所述真实人脸图像样本中提取出的人脸特征作为训练样本，将所述真实人脸图像样本中被标注的人脸特征区域作为约束，进行有监督训练得到的机器学习模型；

所述对所述视频帧图像进行图像分割处理，包括：

将所述第一生成对抗网络模型中的卡通人像生成子模型从所述视频帧图像中提取出的人脸特征输入所述人像分割模型，以由所述人像分割模型从所述视频帧图像中分割出包含所述人脸特征的人脸特征区域，作为包含所述人脸特征的真实人脸图像，并获取所述视频帧图像中与所述真实人脸图像对应的背景图像。