[发明专利]一种使用语音触发虚拟人物表情及口型动画的语音系统

权利要求书

1.一种使用语音触发虚拟人物表情及口型动画的语音系统，其特征在于：包括语音输入模块、语义识别模块、回应语音模块、表情反应标识模块、口型标识模块、播放语音模块、播放对应口型动画模块以及播放表情动画模块。

2.根据权利要求1所述的使用语音触发虚拟人物表情及口型动画的语音系统，其特征在于：所述语音输入模块用于接收语音，所述语义识别模块用于对输入的语音进行分析，生成相应的表情和口型对应的标识，所述回应语音模块用于生成输出的语音，所述表情反应标识模块用于与表情数据库中表情进行匹配，所述口型标识模块用于与口型数据库中的口型进行匹配，所述播放语音模块用于播放语音，所述播放对应口型动画模块用于播放匹配后的口型动画，所述播放表情动画模块用于播放匹配后的表情动画。

3.根据权利要求1所述的使用语音触发虚拟人物表情及口型动画的语音系统，其特征在于：各模块件之间的工作流程包括如下步骤：

S1：通过语音输入模块输入语音；

S2：通过语义识别模块对汉语语音进行分析，生成相应的表情和口型；

S3：通过回应语音模块生成输出的语音，通过表情反应标识模块将生成的表情与表情数据库中的表情进行匹配，通过口型标识模块将生成的口型与口型数据库中的口型进行匹配；

S4：将录制的语音、表情动画以及口型变化使用虚拟人物形象进行播放，通过播放语音模块播放录制的语音，通过播放对应口型动画模块播放口型动画，通过播放表情动画模块播放表情动画；

S5：将语音、口型动画和表情动画进行同步播放处理。

4.根据权利要求3所述的使用语音触发虚拟人物表情及口型动画的语音系统，其特征在于：所述表情数据库通过MPEG-4人脸动画标准进行人脸动画标准建模，所述表情数据库的建模步骤如下所示：

S1提取脸部特征点：在人脸上指定多个特征点，并定义出面部动画参数的参考点；

S2脸部动画参数：将人脸多个特征点分为10组定义脸部的不同部分，包括头部运动、舌、眼和嘴部控制；

S3表情参数定义：定义6个基本表情高兴、吃惊、悲伤、愤怒、厌恶和恐惧时人脸上特征点的位置，记录生成每个表情时每个特征点的轨迹，并记录生成表情数据库。

5.根据权利要求4所述的使用语音触发虚拟人物表情及口型动画的语音系统，其特征在于：所述特征点集中于脸颊、眼睛和口部。

6.根据权利要求3所述的使用语音触发虚拟人物表情及口型动画的语音系统，其特征在于：所述口型数据库的建模根据声母和韵母的组合进行构建，具体操作流程如下：

S1：将普通话中的汉字分成声部和韵部，分别用字母s和y表示 ，与汉语拼音中的声母和韵母相同；

S2：将标准汉语拼音中的声母根据口型进行声部定义，将标准汉语中韵母根据口型进行韵部定义；

S3：将汉字的标准拼音转换成由声部与韵部符号组成的口型拼音，并记录生成口型数据库。

7.根据权利要求1所述的使用语音触发虚拟人物表情及口型动画的语音系统，其特征在于：所述播放语音模块、播放对应口型动画模块以及播放表情动画模块保持同步进行。