[发明专利]一种基于文本驱动的虚拟人微表情表达方法

说明书

本发明公开了一种基于文本驱动的虚拟人微表情表达方法，虚拟人微表情表达方法包括：步骤1、根据输入的文本合成语音，并根据所述文本得到情感标签；步骤2、从合成的所述语音中提取元音音素；步骤3、基于Blendshape模型，根据所述情感标签、所述元音音素得到动画。本发明在提取合成语音中的共振峰时，针对LPC法局部分析能力较差的问题，提出改进的多分辨率LPC法分析语音中的共振峰信息，利用小波变换的多频带分解、可获取局部特征、可同时对频域及时域定位的特性，与LPC分析法相结合。

技术领域

本发明属于虚拟现实和数字信号处理技术领域，具体涉及一种基于文本驱动的虚拟人微表情表达方法。

背景技术

随着社会的不断进步和科技的不断发展，人们的交流不仅仅局限于现实生活中，更多的是来自于虚拟空间。虚拟人微表情表达方法主要应用于虚拟人人脸动画技术上，虚拟人脸动画及其显示已经普及于各行各业中，如虚拟主播、虚拟导游、电影电视等。现如今，在人们的日常聊天方式中，占据主导地位的是以微信、QQ等软件为工具的网络文字式聊天。人们更迫切的希望在虚拟世界中建立如现实世界中的“面对面”式聊天。在这种需求下，虚拟人微表情表达方法成为近年来的研究热点。

虚拟人微表情表达方法同时包括口型变化方法与表情变化方法，且要与语音输出同步，这样可传输使用者所要表达的绝大部分信息。该技术含多项学科内容，包括三维人脸重建研究、口型及表情变化的运动规律研究、面部色彩的自然协调规则发现、口型及表情与语音的协调研究等。在应用价值上，虚拟人微表情表达方法在娱乐、服务业、商业及教育等领域有着广泛的应用，并随着该技术的发展，其应用领域也将继续扩大。

在人机交互系统中，良好的视觉感受是吸引用户的首要因素。所谓虚拟人微表情表达方法，究其根本，就是在计算机合成三维人脸模型的基础上以一定的方法对人脸进行运动控制。对于现有的虚拟人微表情表达方法存在如下问题：

1)现有的虚拟人微表情表达大多是基于英文文本，基于汉语文本的表达方法研究较少；

2)目前的基于文本驱动的微表情表达方法是将文本转化为拼音并从拼音中分析音素，得到动画帧，从事先建好的汉语发音库中得到语音帧，然后将动画帧与语音帧对应拼接起来得到动画，这样得到的语音每个字发音时间相同，不包含情感，较为机械，且语音与动画同步性能较差；

3)可从语音中进行端点检测并利用共振峰提取音素，并用于口型表达方法中。在一般情况下对于短时平稳的信号利用LPC(Linear Predictive Coding，线性预测编码)方法可以正确的提取出共振峰参数，但LPC方法将声道传递函数假设为全极点模型，且在线性尺度上对所有频率的模型进行相同的分析，但人类的耳朵对所有的频率不具有相同的敏感性，人耳对频率的敏感性接近于对数的形式。LPC分析系统有时会将极点置于耳朵并不敏感的高频处，而在耳朵较为敏感的低频处忽略排布紧密的共振峰，即在局部低频处的分辨率较低；

4)现有的虚拟人表达方法中，大部分只注重于语音及口型的协调同步，将口型与表情同时匹配并表达呈现出来的方法较少，且多利用参数模型通过调参的方法生成动画，对微表情的实现效果较差，输出动画比较僵硬。

因此，如何服直接从文本信息中获取音素使表达输出较为机械的问题，成为了亟待解决的问题。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于文本驱动的虚拟人微表情表达方法。本发明要解决的技术问题通过以下技术方案实现：

一种基于文本驱动的虚拟人微表情表达方法，包括：

步骤1、根据输入的文本合成语音，并根据所述文本得到情感标签；

步骤2、从合成的所述语音中提取元音音素；

步骤3、基于Blendshape模型，根据所述情感标签、所述元音音素得到动画。