[发明专利]一种基于人脸关键点预测的虚拟数字人生成方法及装置

权利要求书

1.一种基于人脸关键点预测的虚拟数字人生成方法，其特征在于，包括：

生成带有表情的人脸关键点，具体包括：构建语音生成人脸关键点模型，其中，语音生成人脸关键点模型包括静态人脸关键点生成模块、语音情感内容跨模态重构模块和映射模块，语音情感内容跨模态重构模块包括内容编码器和情感编码器；对语音情感内容跨模态重构模块进行训练，得到训练好的语音情感内容跨模态重构模块，与模型中的其它模块一同构成训练好的语音生成人脸关键点模型；将语音输入至训练好的语音生成人脸关键点模型中，通过语音生成人脸关键点模型中的静态人脸关键点生成模块采用预设人脸识别算法提取静态人脸关键点，通过内容编码器和情感编码器分别提取语音特征和情感特征，再通过映射模块对提取的静态人脸关键点、语音特征和情感特征进行融合，生成带有表情的人脸关键点；

利用生成的带有表情的人脸关键点对3D人脸模型进行拟合，得到拟合后的3D人脸模型投影图像；

将目标图像与拟合后的3D人脸模型投影图像输入预先构建好的虚拟数字人生成模型中，虚拟数字人生成模型包括人脸特征关键点估计模块、特征变形模块、注意力机制模块以及生成对抗网络，通过人脸特征关键点估计模块学习拟合后的3D人脸模型投影图像的姿势和表情特征，生成深度图；通过特征变形模块将人脸特征关键点估计模块学习到的特征的编码进行融合，通过注意力机制模块结合深度图和特征变形模块的输出的融合特征得到细化后的特征，将人脸特征编码和图片背景分开，生成对抗网络根据注意力机制模块的输出生成姿势可控且带有表情的虚拟数字人。

2.如权利要求1所述的虚拟数字人生成方法，其特征在于，在对语音情感内容跨模态重构模块进行训练时，以两组语音作为输入，训练过程中的损失包括交叉重建损失L_cross、自重建损失L_self、分类损失L_cla和内容损失L_con，其中，

交叉重建损失表示为：

L_cross＝||D(E_c(x_i,m),E_e(x_j,n))-x_i,n||₂+||D(E_c(x_j,n),E_e(x_i,m))-x_j,m||₂

自重建损失表示为：

L_self＝||D(E_c(x_i,m),E_e(x_i,m))-x_i,m||₂+||D(E_c(x_j,n),E_e(x_j,n))-x_j,n||₂

分类损失定义为：

内容损失表示为：

x_i,m,x_j,n,x_j,m,x_i,n为4个重构的音频样本，其中x表示重构的新样本，i，j表示不同的语音内容，m,n表示不同的语音情感，E_c表示内容编码器，E_e表示情感编码器，E_c()表示利用内容编码器提取的特征，E_e()表示利用情感编码器提取的特征，D表示语音解码器，D()表示利用解码器进行交叉重构，N表示不同情绪类型的总数，p_k表示样本是否带情绪类别k，q_k表示情绪类别k的预测概率；

语音情感内容跨模态重构模块的总损失函数为L_dis，计算公式为：

L_dis＝L_cross+L_self+λ_claL_cla+λ_conL_con

其中λ_cla和λ_con分别是分类损失和内容损失的权重。