[发明专利]多模态情感交互方法、智能设备、系统、电子设备及介质

权利要求书

1.多模态情感交互方法，其特征在于，包括如下步骤：

确定表征用户情绪的多模态输入参数集合；其中，多模态输入参数集合至少包括表征用户情绪的面部表情信息、语音对话文本信息和肢体动作信息；语音对话文本信息按照如下步骤b1~b3的方式确定得到：

步骤b1，采集用户的语音文本信息；

步骤b2，根据采集的语音文本信息做出初次判断处理：

当采集的语音文本信息中含有预设的情感词汇时，识别出用户的语音文本信息所对应的情感类型；否则，转入步骤b3；

步骤b3，根据所采集的语音文本信息做出二次判断处理：

当采集的语音文本信息中含有预设的聊天话题词汇时，将该语音文本信息中含有的聊天话题词汇作为用户的语音对话信息，调用预设的聊天话题库；否则，转入步骤b4；

步骤b4，调用预设的闲聊对话库，返回步骤b1；

虚拟智能体根据确定的多模态输入参数集合，确定用户的当前情绪状态；其中，虚拟智能体是具有自主行为的类人型图形化实体，具有内在的认知结构设计以及自主行为和情绪能力；

虚拟智能体根据用户的当前情绪状态以及预设的情绪回应库，确定反馈给用户的行为表现；其中，预设的情绪回应库包括多个预设的情绪状态以及与每一个预设的情绪状态相对应的行为表现，行为表现包括反馈给用户的面部表情、姿态动作、对话文本、对话语音以及音乐音频中的至少一种；反馈给用户的行为表现按照如下步骤d1~d7的方式确定得到：

步骤d1，对所确定用户的当前情绪状态中有无面部表情做出判断：

当用户当前情绪状态中没有面部表情时，转入步骤d2；否则，转入步骤d4；

步骤d2，对所确定用户的当前情绪状态中有无对话语音做出判断：

当用户的当前情绪状态中没有对话语音时，转入步骤d3；否则，转入步骤d5；

步骤d3，向用户发出预设的提问语音，并转入步骤d1；

步骤d4，根据用户的面部表情，确定用户的当前情绪状态；

步骤d5，根据用户的对话语音文本信息，确定用户的当前情绪状态；

步骤d6，对步骤d4和步骤d5分别确定的当前情绪状态做一致性判断：

当两者一致时，转入步骤d7；否则，执行针对两者不一致的应对处理措施；

步骤d7，将位于预设的情绪回应库且与确定的当前情绪状态相对应的行为表现作为反馈给用户的行为表现；

由虚拟智能体将确定的行为表现反馈给用户；

以及，设置供用户交互的情感交互场景任务；

确定用户在执行情感交互场景任务时的情绪；

根据所确定用户的情绪，调整情感交互场景任务的难度级别。

2.根据权利要求1所述的多模态情感交互方法，其特征在于，所述多模态输入参数集合中的面部表情信息按照如下步骤a1~a3的方式确定得到：

步骤a1，采集用户的面部图像；

步骤a2，根据采集的面部图像，提取得到用户的面部特征参数；

步骤a3，根据所得用户的面部特征参数以及训练好的表情分类器，得到用户的面部表情信息；其中，用户的面部表情信息包括面部表情类型和嘴部动作类型。

3.根据权利要求1所述的多模态情感交互方法，其特征在于，所述多模态输入参数集合中的肢体动作信息按照如下步骤c1~c3的方式确定得到：

步骤c1，采集用户的肢体动作数据；其中，用户的肢体动作包括用户的手势动作和手臂动作的至少一种；肢体动作数据为记载有肢体动作的图像或者表征肢体动作的动作参数数据；

步骤c2，根据采集的肢体动作数据，提取得到用户的肢体动作特征参数；

步骤c3，根据所得用户的肢体动作特征参数以及预设的表征用户情绪的肢体动作特征参数，得到用户的肢体动作信息。