[发明专利]虚拟角色表情生成方法、控制方法、装置和终端设备

权利要求书

1.一种虚拟角色表情生成方法，其特征在于，包括：

确定音频数据和所述音频数据对应的情绪标签，其中，所述情绪标签用于表征虚拟角色在游戏场景播放所述音频数据时的情绪；

提取所述音频数据的语音特征；

将所述语音特征和所述情绪标签输入至神经网络模型，输出所述音频数据对应的混合变形参数；其中，所述神经网络模型为预先基于标注有情绪标签的语音样本特征训练完成的；

根据所述混合变形参数控制所述虚拟角色在所述游戏场景播放所述音频数据时的表情。

2.根据权利要求1所述的方法，其特征在于，确定音频数据和所述音频数据对应的情绪标签的步骤，包括：

获取包含有虚拟角色的游戏场景；所述游戏场景还配置有至少一个音频数据；每个所述音频数据配置有所述虚拟角色对应的情绪标签。

3.根据权利要求1所述的方法，其特征在于，所述语音特征包括梅尔倒谱系数特征；

提取所述音频数据的语音特征的步骤，包括：

将所述音频数据进行高通滤波，得到音频帧优化序列；

对所述音频帧优化序列进行采样，得到多个目标帧信号；其中，所述采样的持续时间大于所述采样的间隔时间；

对每个所述目标帧信号的两端进行衰减，得到每个目标帧的优化帧信号；

对于每个所述优化帧信号进行快速傅里叶变换，得到每个所述优化帧信号对应的频域信号；

将每个所述频域信号输入预设的三角滤波器组，输出每个所述频域信号对应的对数能量；

将每个所述对数能量进行离散余弦变换，得到所述音频数据对应的梅尔倒谱系数特征。

4.根据权利要求3所述的方法，其特征在于，在将所述音频数据进行高通滤波的步骤之前，所述方法还包括：

将所述音频数据转化为16kHz单声道的音频数据。

5.根据权利要求3所述的方法，其特征在于，在将每个所述对数能量进行离散余弦变换，得到所述音频数据对应的梅尔倒谱系数特征的步骤之后，所述方法还包括：

对所述梅尔倒谱系数特征加上预先设定的平均能量信息。

6.根据权利要求1所述的方法，其特征在于，所述神经网络模型通过以下方式训练：

基于预设的样本集合对所述神经网络模型进行训练；其中，所述样本集合包括多个训练语音特征，每个所述训练语音特征标注有情绪标签和所述训练语音特征对应的标准混合变形参数。

7.根据权利要求6所述的方法，其特征在于，基于预设的样本集合对所述神经网络模型进行训练的步骤，包括：

从所述样本集合中确定当前训练语音特征；

将所述当前训练语音特征和所述当前训练语音特征标注的情绪标签输入至所述神经网络模型，输出所述当前训练语音特征的训练混合变形参数；

根据所述标准混合变形参数和预设的损失函数，计算所述训练混合变形参数的损失值；

根据所述损失值调整所述神经网络模型的参数，从所述样本集合中确定下一个训练语音特征进行训练所述神经网络模型，直至所述损失值收敛，得到训练完成的神经网络模型。

8.根据权利要求1所述的方法，其特征在于，根据所述混合变形参数控制所述虚拟角色在所述游戏场景播放所述音频数据时的表情的步骤，包括：

获取预设的所述虚拟角色的脸部模型；

根据所述混合变形参数调整所述脸部模型的参数，以控制所述虚拟角色在所述游戏场景播放所述音频数据时的表情。

9.一种虚拟角色表情控制方法，其特征在于，所述方法应用于游戏客户端，所述游戏客户端游戏中的虚拟角色配置有目标表情，所述目标表情为应用权利要求1-8任一项所述的虚拟角色表情生成方法生成的表情；所述方法包括：

如果当前游戏场景中包含有虚拟角色，获取所述当前游戏场景配置的音频数据和所述虚拟角色对应的目标表情；

在播放所述音频数据的过程中，同步控制所述虚拟角色的表情为所述目标表情。