[发明专利]虚拟形象合成方法、装置、电子设备和存储介质

说明书

本发明实施例提供一种虚拟形象合成方法、装置、电子设备和存储介质，其中方法包括：确定语音数据的相关特征；相关特征用于表征语音数据中包含的与发言人表情相关的特征；将形象数据以及相关特征输入至表情合成模型中，得到表情合成模型输出的虚拟形象视频，虚拟形象视频中的虚拟形象配置有对应于语音数据的表情；其中，表情合成模型是基于样本发言人视频，样本发言人视频对应的样本语音数据的相关特征以及样本形象数据训练得到的。本发明实施例提供的方法、装置、电子设备和存储介质，能够使得虚拟形象表情更好地贴合语音数据，更加自然真实。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种虚拟形象合成方法、装置、电子设备和存储介质。

背景技术

近年来，随着计算机语音合成与视频合成技术的不断进步，业界研发出了多种基于语音驱动的虚拟形象合成技术。虚拟形象可以执行新闻播报、天气预报、解说游戏、提供订餐服务等任务。

虚拟形象在执行上述任务的过程中，多数仅合成与输出语音相匹配的口型，虚拟形象始终保持中性表情，或者预先设置几种基本表情，针对不同的语音输出内容配置对应的表情。由此合成的虚拟形象在输出语音时，其对应的表情往往不够逼真自然，用户体验较差。

发明内容

本发明实施例提供一种虚拟形象合成方法、装置、电子设备和存储介质，用以解决现有的虚拟形象在输出语音时对应的表情不够逼真、自然的问题。

第一方面，本发明实施例提供一种虚拟形象合成方法，包括：

确定语音数据的相关特征；所述相关特征用于表征所述语音数据中包含的与发言人表情相关的特征；

将形象数据以及所述相关特征输入至表情合成模型中，得到所述表情合成模型输出的虚拟形象视频，所述虚拟形象视频中的虚拟形象配置有对应于所述语音数据的表情；

其中，所述表情合成模型是基于样本发言人视频、所述样本发言人视频对应的样本语音数据的相关特征以及样本形象数据训练得到的。

优选地，所述将形象数据以及所述相关特征输入至表情合成模型中，得到所述表情合成模型输出的虚拟形象视频，具体包括：

将任一帧分别对应的形象数据和相关特征输入至所述表情合成模型的特征提取层，得到所述特征提取层输出的帧特征；

将所述帧特征输入至所述表情合成模型的表情预测层，得到所述表情预测层输出的所述任一帧的虚拟表情图。

优选地，所述将任一帧分别对应的形象数据和相关特征输入至所述表情合成模型的特征提取层，得到所述特征提取层输出的帧特征，具体包括：

将任一帧分别对应的形象数据和相关特征输入至所述特征提取层的当前特征提取层，得到所述当前特征提取层输出的当前特征；

将所述任一帧前预设帧的虚拟表情图输入至所述特征提取层的帧前特征提取层，得到所述帧前特征提取层输出的帧前特征。

优选地，所述将所述帧特征输入至所述表情合成模型的表情预测层，得到所述表情预测层输出的所述任一帧的虚拟表情图，具体包括：

将所述当前特征和所述帧前特征融合后输入至所述表情预测层，得到所述表情预测层输出的所述任一帧的虚拟表情图。

优选地，所述将所述当前特征和所述帧前特征融合后输入至所述表情预测层，得到所述表情预测层输出的所述任一帧的虚拟表情图，具体包括：

将所述当前特征和所述帧前特征融合后输入至所述表情预测层的候选表情预测层中，得到所述候选表情预测层输出的候选表情图；

将所述当前特征和所述帧前特征融合后输入至所述表情预测层的光流预测层中，得到所述光流预测层输出的光流信息；