[发明专利]一种基于身份和表情特征转换的人脸表情转换方法

权利要求书

1.一种基于身份和表情特征转换的人脸表情转换方法，其特征在于，所述方法是利用具有两个编码器的生成对抗网络得到中性表情和其它表情图像的转换模型，在人脸身份内容保持不变的情况下，实现中性表情到其它表感之间的表情转换，转换方法的好坏直接反映在用户对转换后表情的视觉感受。

2.根据权利要求1所述的方法，其特征在于，包括：

S1:人脸表情转换模型训练阶段：对中性表情图片和其它人脸表情图片进行预处理，然后提取中性表情的身份特征参数和目标面部表情特征参数，建立生成器和判别器，进行对抗训练。

S2：人脸表情转换模型转换阶段，将预处理后的中性表情图像输入到转换模型中，并将模型输出参数用到表情合成中，来合成目标表情图像。

3.根据权利要求2所述的方法，其特征在于，所述步骤S1中，所述的预处理是指对人脸图像进行人脸检测与定位。

4.根据权利要求2所述的方法，其特征在于，所述步骤S1中，所述的身份特征参数和面部表情特征参数提取中，是使用编码器对中性表情图片以及目标表情图片进行特征提取，身份信息映射到潜在向量z，情感信息映射到潜在向量l进一步包括：

S11:对原始中性表情图像x(n)进行人脸检测与定位，得到第i张人脸中性表情图像x_i(n)，对图像x_i(n)使用编码器E₁进行特征提取，其中编码器E₁使用卷积神经网络来提取输入图像的身份特征，编码器E₁的输出是原始中性表情图像的高级身份特征潜在向量z。

S12:对目标情感表情图像y(n)进行人脸检测与定位，得到第j张人脸中性表情图像x_j(n)，对图像x_j(n)使用编码器E₂进行特征提取，其中编码器E₂使用卷积神经网络来提取输入图像的情感特征，编码器E₂的输出是目标域图像情感特征标签l。

5.根据权利要求2所述的方法，其特征在于，所述步骤S1中，所述的生成器是通过使用去卷积层从特征向量恢复低级特征。生成器G₁将身份特征潜在向量z和目标标签向量l作为输入，并生成具有特定个性的面部x_ij。

6.根据权利要求2所述的方法，其特征在于，所述步骤S1中，所述的判别器是一种卷积神经网络，对生成器生成的图像x_ij进行特征提取和判别。在判别器中，目标标签向量l在第一卷积层中连接，并确定生成的图像是原始图像还是生成的图像，进一步包括：

S13：通过另一个生成器G₂重建生成的图像以更好地增强目标域和原始域的关联。重建损失函数用于描述两个发生器之后的重建效果与原始实际样本之间的差异。

7.根据权利要求6所述的方法，其特征在于，所述步骤S13中，所述建立重建损失中，对生成的带有目标表情的图像x_ij进行编码和生成重建为原始中性表情图像建立原始中性表情图像x_i(n)和重建后的中性表情图像的损失函数，用于将未配对的原始表情符号与数据库中的目标表情符号相关联并共享身份特征。

8.根据权利要求2所述的方法，其特征在于，所述步骤S2中，进一步包括：

S21：获得预处理后的中性表情图像；

S22：将预处理后的中性表情图片输入到转换模型中，得到转换后的目标表情图像。