[发明专利]基于生成对抗网络的张嘴笑表情生成方法、装置以及设备

权利要求书

1.一种基于生成对抗网络的张嘴笑表情生成方法，其特征在于，所述方法包括：

对采集的原始人脸图以及对应所述原始人脸图的张嘴笑目标图进行预处理，将预处理后的所述原始人脸图作为训练数据图像，将预处理后的所述张嘴笑目标图作为目标监督图像；

将所述训练数据图像输入包括编码器以及stylegan2网络所构建的模型中并在所述目标监督图像的监督下、基于预设损失函数进行训练，得到张嘴笑表情生成模型；

获取待处理图像并输入所述张嘴笑表情生成模型，得到具有张嘴笑表情的结果生成图。

2.根据权利要求1所述的一种基于生成对抗网络的张嘴笑表情生成方法，其特征在于，所述对采集的原始人脸图以及对应所述原始人脸图的张嘴笑目标图进行预处理，包括：

对所述原始人脸图以及所述张嘴笑目标图进行几何操作、以及亮度和噪声扰动，其中，所述几何操作包括裁剪、平移以及左右翻转。

3.根据权利要求1所述的一种基于生成对抗网络的张嘴笑表情生成方法，其特征在于，所述stylegan2网络包括生成器以及判别器；所述将所述训练数据图像输入包括编码器以及stylegan2网络所构建的模型中并在所述目标监督图像的监督下、基于预设损失函数进行训练，包括：

通过所述编码器对所述训练数据图像进行特征提取并映射至隐空间，输出第一图像；

将所述第一图像输入所述生成器进行脸部细节生成，输出第二图像；

将所述第二图像输入所述判别器中并基于所述目标监督图像进行判别。

4.根据权利要求3所述的一种基于生成对抗网络的张嘴笑表情生成方法，其特征在于，所述通过所述编码器对所述训练数据图像进行特征提取并映射至隐空间，包括：

通过所述编码器对所述训练数据图像进行9次卷积下采样操作。

5.根据权利要求3所述的一种基于生成对抗网络的张嘴笑表情生成方法，其特征在于，所述将所述第一图像输入所述生成器进行脸部细节生成，包括：

通过所述生成器对所述第一图像进行9次卷积上采样操作。

6.根据权利要求3所述的一种基于生成对抗网络的张嘴笑表情生成方法，其特征在于，所述张嘴笑表情生成模型还包括预训练的人脸属性分类器；所述将所述训练数据图像输入包括编码器以及stylegan2网络所构建的模型中并在所述目标监督图像的监督下、基于预设损失函数进行训练，包括：

通过所述人脸属性分类器对所述第二图像中根据预设的感兴趣区域的不同人脸区域进行分类。

7.根据权利要求1所述的一种基于生成对抗网络的张嘴笑表情生成方法，其特征在于，所述预设损失函数为Loss＝θ₁Loss_cls+θ₂Loss_l1+θ₃Loss_percep+Loss_G，θ₁、θ₂、θ₃为损失权重；其中，

Loss_cls＝Y-roi*Y'₂，式中，roi表示预先设定感兴趣区域的二值图，Y表示将roi与G相乘即感兴趣区域分类结果输入经过预训练的人脸属性分类器得到的当前分类结果，G表示生成器各层的输出结果上采样至同一尺寸并按通道拼接结果，Y'表示所述目标监督图像对应的像素分类结果；

Loss_l1＝||X_g-X_r||₂，式中，X_g表示生成器的输出，X_r表示所述目标监督图像；

式中，j表示感知损失网络的第j层，C_j、H_j、W_j为第j层特征图大小；

其中，式中，C·表示判别器的输出，E_x·表示样本的平均值，X_r表示所述目标监督图像。