[发明专利]面向机器人的多模态情感数据交互方法及装置

说明书

本发明提供一种面向智能机器人的多模态情感交互方法，所述方法包括以下步骤：接收多模态交互输入信息并进行解析，以获取用户输入的意图参量和用户情绪参量；结合所述意图参量和所述情绪参量生成对应于多模态交互输入信息的文本回复信息，并结合所述文本回复信息、上下文交互数据及用户情绪参量生成语音情感参量；根据所述回复文本信息及语音情感参量合成语音信息并进行输出。通过实施本发明的面向智能机器人的多模态情感数据交互方法，智能机器人同用户进行交互时，输出的TTS语音在不同情感状态下的发声效果不同，这大大提升了机器人的情感表达能力，使得机器人的智能程度也大为提高。

技术领域

本发明涉及智能机器人领域，具体地说，涉及一种面向机器人的多模态情感数据交互方法及装置。

背景技术

人类不仅具有理性思维和逻辑推理能力，更是一种具有极强情感因子的群体。过去的人机交互模式，究其本质更多的是反映理性思维的程序操控。现在随着信息科技的发展，人机交互所面对的最大困境就是如何让计算机不仅有智商，而且还具备“情感”与人类交互的情感。

未来人工智能的发展方向是机器人与人之间的感情化交互，强调情感计算。智能化的机器人在满足人类需求的同时，还应让用户对其产生一种情感上的信任和依赖。

然而，当前市场上大多数的文本到语音转换TTS技术在发声效果、情感表达等方面都非常平淡，毫无情感可言，极大地影响了人机对话的体验效果。

为提升文本到语音转换TTS的情感表达能力，需要提供一种能够让人与机器人之间的对话可以体验到类似真人般的对话效果的技术方案。

发明内容

本发明的目的在于，提供一种面向智能机器人的多模态情感交互方法和装置来解决上述技术问题。在本发明的面向智能机器人的多模态情感交互方法中，其包括以下步骤：

接收多模态交互输入信息并进行解析，以获取用户输入的意图参量和用户情绪参量；

结合所述意图参量和所述情绪参量生成对应于多模态交互输入信息的文本回复信息，并结合所述文本回复信息、上下文交互数据及用户情绪参量生成语音情感参量；

根据所述回复文本信息及语音情感参量合成语音信息并进行输出。

根据本发明的面向智能机器人的多模态情感交互方法，优选的是，所述语音情感参量包括，

所述回复文本信息的语义参量、句式参量、当前交互的情绪参量以及对当前用户的情感参量。

根据本发明的面向智能机器人的多模态情感交互方法，优选的是，所述方法包括：

结合用户情绪参量来生成当前交互的情绪参量；

基于上下文交互数据来生成对当前用户的情感参量；

通过获取所述回复文本信息的重点词汇生成所述回复文本信息的语义参量。

根据本发明的面向智能机器人的多模态情感交互方法，优选的是，所述方法包括：

在接收多模态交互输入信息并进行解析的步骤中，通过采用情感词典、情感归类、机器学习的情感计算方式来生成用户输入的情绪参量。

根据本发明的另一个方面，还提供了一种面向智能机器人的多模态情感数据交互装置。所述装置包括：

接收解析单元，其用以接收多模态交互输入信息并进行解析，以获取用户输入的意图参量和情绪参量；

文本回复生成单元，其用以结合所述意图参量和所述情绪参量生成对应于多模态交互输入信息的文本回复信息，并结合所述文本回复信息、上下文交互数据及用户情绪参量生成语音情感参量；

情感输出合成单元，其用以根据所述回复文本信息及语音情感参量合成语音信息并进行输出。