[发明专利]多模态情感交互方法、智能设备、系统、电子设备及介质

说明书

本发明涉及一种多模态情感交互方法、智能设备、系统、电子设备及介质，多模态情感交互方法包括确定表征用户情绪的多模态输入参数集合、根据多模态输入参数集合确定用户的当前情绪状态、根据用户的当前情绪状态及预设的情绪回应库，确定反馈给用户的行为表现；以及将确定的行为表现由硬件设备或者虚拟智能体反馈给用户。该多模态情感交互方法通过多通道分别采集表征用户情绪的多种模态参数，然后再通过对所采集的这些模态参数的融合处理，全面准确感知用户的当前面部情绪，避免了传统情感交互方法仅仅基于视觉等单通道识别用户情绪时的误判等不足。

技术领域

本发明涉及人机情感交互领域，尤其涉及一种多模态情感交互方法、智能设备、系统、电子设备及介质。

背景技术

目前，人口老龄化的全球化趋势十分明显。随着人口老龄化程度加深，出现了越来越多的“空巢老人”家庭，这些老年人在日常生活中不仅面临着无人照顾的情况，而且还会面临着情感无人倾诉的困境，严重影响着老年人的身心健康。

为了解决老年人无人照顾的问题，目前市场上出现了照顾老年人的看护机器人。这些看护机器人虽然可以为老年人的日常生活提供一些护理和照顾，但价格较高且提供的看护功能十分有限，而且也不便于用户(如老年人)升级维护。另外，这些看护机器人往往缺乏多模态情感交互能力，很难与用户建立自然的情感交流，无法正确理解用户真实的情绪状态。

随着人工智能技术和虚拟现实技术的交叉融合发展，如何利用人工智能和虚拟现实技术，及时地针对用户(尤其是老年人用户)的情感交互给予及时、准确地反馈，已经成为当前情感识别交互领域需要解决的一个技术问题。

发明内容

本发明所要解决的第一个技术问题是针对上述现有技术提供一种多模态情感交互方法。

本发明所要解决的第二个技术问题是针对上述现有技术提供一种实现上述多模态情感交互方法的智能设备。

本发明所要解决的第三个技术问题是提供一种应用有上述智能设备的多模态情感交互系统。

本发明所要解决的第四个技术问题是提供一种实现上述多模态交互方法的多模态情感交互系统。

本发明所要解决的第五个技术问题是针对上述现有技术提供一种电子设备。该电子设备包括有存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现所述的多模态情感交互方法。

本发明所要解决的第六个技术问题是针对上述现有技术提供一种可读存储介质。该可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现所述的多模态情感交互方法。

本发明解决第一个技术问题所采用的技术方案为：多模态情感交互方法，其特征在于，包括如下步骤：

多模态情感交互方法，其特征在于，包括如下步骤：

确定表征用户情绪的多模态输入参数集合；其中，多模态输入参数集合至少包括表征用户情绪的面部表情信息、语音对话文本信息和肢体动作信息；

根据确定的多模态输入参数集合，确定用户的当前情绪状态；

根据用户的当前情绪状态以及预设的情绪回应库，确定反馈给用户的行为表现；其中，预设的情绪回应库包括多个预设的情绪状态以及与每一个预设的情绪状态相对应的行为表现，行为表现包括反馈给用户的面部表情、姿态动作、对话文本、对话语音以及音乐音频中的至少一种；

将确定的行为表现反馈给用户；其中，该确定的行为表现由硬件设备或者虚拟智能体反馈给用户。

改进地，在本发明的所述多模态情感交互方法中，所述多模态输入参数集合中的面部表情信息按照如下步骤a1～a3的方式确定得到：

步骤a1，采集用户的面部图像；