[发明专利]一种基于文本驱动的虚拟人微表情表达方法在审

专利信息
申请号: 202110770714.0 申请日: 2021-07-07
公开(公告)号: CN113838169A 公开(公告)日: 2021-12-24
发明(设计)人: 樊养余;陈朋瑞;刘洋;何雯清;郭哲;王毅 申请(专利权)人: 西北工业大学
主分类号: G06T13/20 分类号: G06T13/20;G06T13/40;G10L13/02;G10L13/08
代理公司: 西安嘉思特知识产权代理事务所(普通合伙) 61230 代理人: 王萌
地址: 710072 陕西*** 国省代码: 陕西;61
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 文本 驱动 虚拟 表情 表达 方法
【权利要求书】:

1.一种基于文本驱动的虚拟人微表情表达方法,其特征在于,包括:

步骤1、根据输入的文本合成语音,并根据所述文本得到情感标签;

步骤2、从合成的所述语音中提取元音音素;

步骤3、基于Blendshape模型,根据所述情感标签、所述元音音素得到动画。

2.根据权利要求1所述的基于文本驱动的虚拟人微表情表达方法,其特征在于,根据输入的文本合成语音,包括:

创建文本语音合成应用并获取用于语音合成的API Key和Secret Key,根据所申请的语音合成项目的APIKey与SecretKey获取Access Token,以得到请求凭证,根据获取到的语音合成项目的Access Token发送文本请求语音合成,以将输入的文本合成语音。

3.根据权利要求1所述的基于文本驱动的虚拟人微表情表达方法,其特征在于,根据所述文本得到情感标签,包括:

创建文本情感分析应用并获取用于文本情感分析的API Key和Secret Key,根据所申请的文本情感分析项目的APIKey与SecretKey获取Access Token,以得到请求凭证,根据获取到的文本情感分析项目的Access Token发送文本请求分析文本情感,以得到情感标签。

4.根据权利要求1所述的基于文本驱动的虚拟人微表情表达方法,其特征在于,所述步骤2包括:

步骤2.1、利用分帧加窗方法对所述语音进行分帧处理,以得到若干第一子语音;

步骤2.2、利用短时平均能量方法对所述第一子语音进行端点检测,得到所述第一子语音的短时平均能量;

步骤2.3、根据所述第一子语音的短时平均能量和阈值ε得到第二子语音,所述第二子语音为含有声音的语音;

步骤2.4、基于多分辨率LPC法,根据所述第二子语音得到共振峰和共振峰频率;

步骤2.5、将所述共振峰的共振峰频率与不同元音的共振频率进行比较,以从所述共振峰中获取语音中的元音音素。

5.根据权利要求4所述的基于文本驱动的虚拟人微表情表达方法,其特征在于,所述步骤2.4包括:

步骤2.41、对伸缩因子和时移因子进行离散,以得到离散化后的所述伸缩因子和所述时移因子;

步骤2.42、基于离散化后的所述伸缩因子和所述时移因子,利用DWT按照不同的频带对所述第二子语音进行等频带分解,以得到第三子语音;

步骤2.43、利用多分辨率LPC法对所述第三子语音进行处理,以得到所述共振峰,并利用峰值检测法,根据LPC谱分析出所述共振峰的共振峰频率。

6.根据权利要求5所述的基于文本驱动的虚拟人微表情表达方法,其特征在于,利用峰值检测法,根据LPC谱分析出所述共振峰的共振峰频率,包括:

根据所述第三子语音和所述第三子语音的近似值得到预测系数;

基于声道传递的全极点模型,根据所述预测系数得到所述全极点模型的频率特性;

对所述频率特性取功率谱模值得到LPC谱;

利用峰值检测法检测所述LPC谱的峰值得到所述共振峰的共振峰频率。

7.根据权利要求6所述的基于文本驱动的虚拟人微表情表达方法,其特征在于,根据所述第三子语音和所述第三子语音的近似值得到预测系数,包括:

将前p个所述第三子语音进行线性组合得到第n个所述第三子语音的近似值;

根据所述第三子语音与所述近似值之差得到预测误差;

基于最小均方误差准则,根据所述预测误差得到均方误差值;

使所述均方误差值对预测系数进行偏微分并使偏微分结果为0,以得到所述预测系数。

8.根据权利要求1所述的基于文本驱动的虚拟人微表情表达方法,其特征在于,所述步骤3包括:

步骤3.1、根据六个基本口型模型和两个基本表情模型制作Blendshape模型;

步骤3.2、基于所述Blendshape模型,根据所述情感标签、所述元音音素和所述元音音素的起止时间,将对应的基本口型模型和基本表情模型融合得到所述动画。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西北工业大学,未经西北工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110770714.0/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top