[发明专利]一种基于文本驱动的虚拟人微表情表达方法在审
| 申请号: | 202110770714.0 | 申请日: | 2021-07-07 |
| 公开(公告)号: | CN113838169A | 公开(公告)日: | 2021-12-24 |
| 发明(设计)人: | 樊养余;陈朋瑞;刘洋;何雯清;郭哲;王毅 | 申请(专利权)人: | 西北工业大学 |
| 主分类号: | G06T13/20 | 分类号: | G06T13/20;G06T13/40;G10L13/02;G10L13/08 |
| 代理公司: | 西安嘉思特知识产权代理事务所(普通合伙) 61230 | 代理人: | 王萌 |
| 地址: | 710072 陕西*** | 国省代码: | 陕西;61 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 基于 文本 驱动 虚拟 表情 表达 方法 | ||
1.一种基于文本驱动的虚拟人微表情表达方法,其特征在于,包括:
步骤1、根据输入的文本合成语音,并根据所述文本得到情感标签;
步骤2、从合成的所述语音中提取元音音素;
步骤3、基于Blendshape模型,根据所述情感标签、所述元音音素得到动画。
2.根据权利要求1所述的基于文本驱动的虚拟人微表情表达方法,其特征在于,根据输入的文本合成语音,包括:
创建文本语音合成应用并获取用于语音合成的API Key和Secret Key,根据所申请的语音合成项目的APIKey与SecretKey获取Access Token,以得到请求凭证,根据获取到的语音合成项目的Access Token发送文本请求语音合成,以将输入的文本合成语音。
3.根据权利要求1所述的基于文本驱动的虚拟人微表情表达方法,其特征在于,根据所述文本得到情感标签,包括:
创建文本情感分析应用并获取用于文本情感分析的API Key和Secret Key,根据所申请的文本情感分析项目的APIKey与SecretKey获取Access Token,以得到请求凭证,根据获取到的文本情感分析项目的Access Token发送文本请求分析文本情感,以得到情感标签。
4.根据权利要求1所述的基于文本驱动的虚拟人微表情表达方法,其特征在于,所述步骤2包括:
步骤2.1、利用分帧加窗方法对所述语音进行分帧处理,以得到若干第一子语音;
步骤2.2、利用短时平均能量方法对所述第一子语音进行端点检测,得到所述第一子语音的短时平均能量;
步骤2.3、根据所述第一子语音的短时平均能量和阈值ε得到第二子语音,所述第二子语音为含有声音的语音;
步骤2.4、基于多分辨率LPC法,根据所述第二子语音得到共振峰和共振峰频率;
步骤2.5、将所述共振峰的共振峰频率与不同元音的共振频率进行比较,以从所述共振峰中获取语音中的元音音素。
5.根据权利要求4所述的基于文本驱动的虚拟人微表情表达方法,其特征在于,所述步骤2.4包括:
步骤2.41、对伸缩因子和时移因子进行离散,以得到离散化后的所述伸缩因子和所述时移因子;
步骤2.42、基于离散化后的所述伸缩因子和所述时移因子,利用DWT按照不同的频带对所述第二子语音进行等频带分解,以得到第三子语音;
步骤2.43、利用多分辨率LPC法对所述第三子语音进行处理,以得到所述共振峰,并利用峰值检测法,根据LPC谱分析出所述共振峰的共振峰频率。
6.根据权利要求5所述的基于文本驱动的虚拟人微表情表达方法,其特征在于,利用峰值检测法,根据LPC谱分析出所述共振峰的共振峰频率,包括:
根据所述第三子语音和所述第三子语音的近似值得到预测系数;
基于声道传递的全极点模型,根据所述预测系数得到所述全极点模型的频率特性;
对所述频率特性取功率谱模值得到LPC谱;
利用峰值检测法检测所述LPC谱的峰值得到所述共振峰的共振峰频率。
7.根据权利要求6所述的基于文本驱动的虚拟人微表情表达方法,其特征在于,根据所述第三子语音和所述第三子语音的近似值得到预测系数,包括:
将前p个所述第三子语音进行线性组合得到第n个所述第三子语音的近似值;
根据所述第三子语音与所述近似值之差得到预测误差;
基于最小均方误差准则,根据所述预测误差得到均方误差值;
使所述均方误差值对预测系数进行偏微分并使偏微分结果为0,以得到所述预测系数。
8.根据权利要求1所述的基于文本驱动的虚拟人微表情表达方法,其特征在于,所述步骤3包括:
步骤3.1、根据六个基本口型模型和两个基本表情模型制作Blendshape模型;
步骤3.2、基于所述Blendshape模型,根据所述情感标签、所述元音音素和所述元音音素的起止时间,将对应的基本口型模型和基本表情模型融合得到所述动画。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西北工业大学,未经西北工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110770714.0/1.html,转载请声明来源钻瓜专利网。





