[发明专利]虚拟形象合成方法、装置、电子设备和存储介质

权利要求书

1.一种虚拟形象合成方法，其特征在于，包括：

确定待合成的语音数据的语音特征，以及与所述语音特征相对应的面部表情特征；

对所述语音特征和所述面部表情特征进行融合，基于融合所得的特征合成表情与所述语音数据相匹配的虚拟形象视频。

2.根据权利要求1所述的虚拟形象合成方法，其特征在于，所述对所述语音特征和所述面部表情特征进行融合，包括：

基于融合权重对所述语音特征和所述面部表情特征进行加权融合，所述融合权重是基于所述语音特征确定的。

3.根据权利要求2所述的虚拟形象合成方法，其特征在于，所述基于融合权重对所述语音特征和所述面部表情特征进行加权融合，包括：

对所述语音特征进行特征提取，得到所述融合权重以及语音特征图；

对所述面部表情特征进行特征提取，得到与所述语音特征图相同维度的表情特征图；

基于所述融合权重，对所述语音特征图和所述表情特征图进行加权求和。

4.根据权利要求1所述的虚拟形象合成方法，其特征在于，所述基于融合所得的特征合成表情与所述语音数据相匹配的虚拟形象视频，包括：

对虚拟形象掩膜图像进行特征编码，得到掩膜图像特征；

基于所述掩膜图像特征与融合所得的特征，确定整体形象特征；

对所述整体形象特征进行特征解码，得到所述虚拟形象视频。

5.根据权利要求1至4中任一项所述的虚拟形象合成方法，其特征在于，所述对所述语音特征和所述面部表情特征进行融合，基于融合所得的特征合成表情与所述语音数据相匹配的虚拟形象视频，包括：

将所述语音特征和所述面部表情特征输入至形象合成模型，得到所述形象合成模型输出的所述虚拟形象视频；

其中，所述形象合成模型是基于样本语音特征及其相对应的样本面部表情特征，以及形象判别模型训练得到的，所述形象判别模型用于区分虚拟形象和真实形象。

6.根据权利要求1至4中任一项所述的虚拟形象合成方法，其特征在于，所述与所述语音特征相对应的面部表情特征是基于如下步骤确定的：

将所述语音特征输入至表情映射模型，得到所述表情映射模型输出的与所述语音特征相对应的面部表情特征；

其中，所述表情映射模型是基于样本语音特征及其相对应的样本面部表情特征训练得到的，所述样本面部表情特征是基于样本三维人脸模型确定的，所述样本三维人脸模型是基于真实人脸视频构建的。

7.根据权利要求6所述的虚拟形象合成方法，其特征在于，所述面部表情特征包括人脸表情参数和/或口唇关键点坐标；

所述表情映射模型的损失函数是基于预测人脸表情参数与样本人脸表情参数之差，和/或预测口唇关键点坐标与样本口唇关键点坐标之差确定的；

所述预测人脸表情参数和所述预测口唇关键点坐标是所述表情映射模型基于所述样本语音特征确定的。

8.一种虚拟形象合成装置，其特征在于，包括：

特征获取单元，用于确定待合成的语音数据的语音特征，以及与所述语音特征相对应的面部表情特征；

融合生成单元，用于对所述语音特征和所述面部表情特征进行融合，基于融合所得的特征合成表情与所述语音数据相匹配的虚拟形象视频。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述虚拟形象合成方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述虚拟形象合成方法的步骤。