[发明专利]基于多模态交互信息的虚拟人表情个性化生成方法

摘要

本发明公开了基于多模态交互信息的虚拟人表情个性化生成方法，包括当用户与数字人对话，提出问题或聊天时，将用户语音发送到ASR服务，提取音频特征后转化为文字信息，利用NLP对语音转文字的结果进行分析，通过深度学习模型解析出句子的逻辑结构和内容含义，抽取事件元素，在配置好的知识库中查找匹配，命中问题后给出回答文本。本发明提出新的多模融合网络，根据目标用户朗读视频提取目标用户的表情神态特征，输出带有目标用户个人表情特征的数据来驱动数字人，对于不同目标用户，数字人可以展现出不同的、个性化的表现。