[发明专利]表情迁移模型的训练方法及装置、表情迁移方法及装置

权利要求书

1.一种表情迁移模型的训练方法，其特征在于，所述表情迁移模型包括编码器、第一解码器以及第二解码器，所述训练方法包括：

获取第一三维人脸样本和第二三维人脸样本；

基于所述编码器和所述第一解码器对所述第一三维人脸样本进行训练，基于所述编码器和所述第二解码器对所述第二三维人脸样本进行训练；

判断是否达到训练停止条件，并且在达到训练停止条件的情况下，停止训练过程。

2.根据权利要求1所述的训练方法，其特征在于，基于所述编码器和所述第一解码器对第一三维人脸样本进行训练包括：

将所述第一三维人脸样本的初始顶点信息和邻接矩阵输入所述编码器，得到第一编码向量；

将所述第一编码向量输入所述第一解码器，得到第一解码向量，根据第一解码向量与所述初始顶点信息得到损失值；

根据所述损失值调整编码器和第一解码器中的网络层的系数向量。

3.根据权利要求1或2所述的训练方法，其特征在于，基于所述编码器和所述第二解码器对所述第二三维人脸样本进行训练包括：

将所述第二三维人脸样本的初始顶点信息和邻接矩阵输入所述编码器，得到第二编码向量，

将所述第二编码向量输入所述第二解码器，得到第二解码向量，根据第二解码向量与所述第二三维人脸样本的初始顶点信息得到损失值；

根据所述损失值调整编码器和第二解码器中的网络层的系数向量。

4.根据权利要求1所述的训练方法，其特征在于，所述编码器包括图卷积神经网络层、下采样层和全连接层，图卷积神经网络层和下采样层依次间隔设置，第一解码器和第二解码器包括全连接层、上采样层和卷积神经网络层，所述上采样层和卷积神经网络层依次间隔设置。

5.根据权利要求3所述的训练方法，其特征在于，交替执行对第一预设数目的第一三维人脸样本进行训练和对第二预设数目的第二三维人脸样本进行训练。

6.根据权利要求1所述的训练方法，其特征在于，获取第一三维人脸样本包括：

获取多个人脸图像，对所述多个人脸图像进行人脸重建，获得第一三维人脸样本。

7.根据权利要求6所述的训练方法，其特征在于，获取第一三维人脸样本还包括：

对所述多个人脸图像进行人脸重建之后，将重建后的三维人脸与所述第二三维人脸样本进行空间对齐。

8.一种利用表情迁移模型的表情迁移方法，其特征在于，所述表情迁移模型包括编码器、第一解码器以及第二解码器，并且通过权利要求1至7中任一项所述的训练方法预先训练，所述表情迁移方法包括：

获取待迁移表情的第一三维人脸；

基于所述编码器和所述第二解码器对所述第一三维人脸进行表情迁移，得到第二三维人脸。

9.根据权利要求8所述的表情迁移方法，其特征在于，基于所述编码器和所述第二解码器对所述第一三维人脸进行表情迁移包括：

将所述第一三维人脸的初始顶点信息和邻接矩阵输入所述编码器，得到第一编码向量；

将所述第一编码向量输入所述第二解码器。

10.根据权利要求8或9所述的表情迁移方法，其特征在于，获取待迁移表情的第一三维人脸包括：

从目标视频截取同一人脸的多帧人脸图像，对所述多帧人脸图像进行人脸重建，获得待迁移表情的多个第一三维人脸。

11.根据权利要求10所述的表情迁移方法，其特征在于，还包括：

基于所述第二三维人脸生成动画。