[发明专利]三维面部生成方法和装置、三维面部重演方法和装置

权利要求书

1.一种三维面部生成方法，其特征在于，包括：

基于目标表情编码网络模型，获取包含第一身份对象的第一图像的表情向量，其中，所述目标表情编码网络模型为基于面部具有遮挡物的表情图像进行训练确定的模型；所述第一图像为面部具有遮挡物的图像；

将所述表情向量，以及包含第二身份对象的第二图像，输入到目标面部生成网络模型中，确定将所述第一图像的表情向量迁移到所述第二图像中所述第二身份对象面部的目标图像，其中，所述目标面部生成网络模型为基于具有相同身份的图像对应的不同表情进行表情迁移训练确定的模型。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从表情图像样本数据集中获取目标样本图像、与所述目标样本图像表情相似的正样本图像以及与所述目标样本图像表情不相似的负样本图像，其中，所述目标样本图像、所述正样本图像和所述负样本图像中至少有一张图像中的部分面部区域具有遮挡物，且所述目标样本图像、所述正样本图像和所述负样本图像为具有不同身份信息的样本图像；

基于所述目标样本图像、所述正样本图像和所述负样本图像对初始的表情编码网络模型进行训练，所述表情编码模型用于计算输入图像对应的表情向量；

当根据所述表情向量确定满足预设的模型收敛条件时，获得所述目标表情编码网络模型。

3.根据权利要求2所述的方法，其特征在于，所述基于所述目标样本图像、所述正样本图像和所述负样本图像对初始的表情编码模型进行训练，包括：

将所述目标样本图像、所述正样本图像和所述负样本图像分别输入至初始的表情编码网络模型，分别获得对应的表情向量；

基于所述目标样本图像对应的表情向量、所述正样本图像对应的表情向量、所述负样本图像对应的表情向量以及预设的损失函数，获得损失值；

根据所述损失值确定是否满足预设的收敛条件，若不满足，则对初始的表情编码网络模型的参数进行调整，并对调整后的所述表情编码网络模型进行下一轮的训练。

4.根据权利要求1所述的方法，其特征在于，所述将所述表情向量，以及包含第二身份对象的第二图像输入到目标面部生成网络模型中，确定将所述第一图像的表情向量迁移到所述第二图像面部的目标图像，包括：

将所述第二图像输入到所述目标面部生成网络模型的编码器中，确定所述第二图像对应的面部特征；

将所述第一图像的表情向量、以及所述第二图像对应的面部特征输入至所述目标面部生成网络模型的嵌入模块中，确定将所述第一图像的表情向量嵌入到所述第二图像的目标面部特征；

将所述目标面部特征输入到所述目标面部生成网络模型的解码器中，确定所述目标图像。

5.根据权利要求1所述的方法，其特征在于，还包括：

基于目标姿态编码网络模型，获取所述第一图像的头部姿态向量，其中，所述目标姿态编码网络模型为基于头部具有遮挡物的头部姿态图像进行训练确定的模型；

所述将所述表情向量，以及包含第二身份对象的第二图像，输入到目标面部生成网络模型中，确定将所述第一图像的表情向量迁移到所述第二图像的目标图像，还包括：将所述头部姿态向量输入到输入有所述表情向量和所述第二图像的所述目标面部生成网络模型中，确定将所述表情向量和所述头部姿态向量迁移到所述第二图像的第二身份对象面部的所述目标图像。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取具有遮挡物的头部姿态图像，所述头部姿态图像具有姿态真值标签；

将所述头部姿态图像输入至初始姿态编码网络模型，确定预测姿态标签；

基于所述姿态真值标签、所述预测姿态标签和预设的损失函数，获得损失值；

根据所述损失值确定是否满足预设的收敛条件，若否，则对所述初始姿态编码网络模型的参数进行调整，并对调整后的所述初始姿态编码模型进行下一轮的训练，直到满足所述预设的收敛条件，获得所述目标姿态编码网络模型。