[发明专利]基于情绪引擎技术的语音交互方法、智能终端及存储介质

权利要求书

1.一种基于情绪引擎技术的语音交互方法，其特征在于，所述方法包括：

获取用户输入的语音信息，并获取用户的人脸图像信息；

从所述语音信息与人脸图像信息中提取情绪识别特征，并将提取的情绪识别特征输入至预设的情绪识别模型；

通过所述情绪识别模型计算出用户的情绪，并基于用户的情绪生成拟人化的语音交互策略，并输出。

2.根据权利要求1所述的基于情绪引擎技术的语音交互方法，其特征在于，所述获取用户输入的语音信息，并获取用户的人脸图像信息的步骤，具体包括：

通过预设的远程设备或者遥控器拾音设备获取用户输入的语音信息；

通过预设的摄像头设备获取用户的人脸图像信息。

3.根据权利要求1所述的基于情绪引擎技术的语音交互方法，其特征在于，所述从所述语音信息与人脸图像信息中提取情绪识别特征，并将提取的情绪识别特征输入至预设的情绪识别模型的步骤，具体包括：

将获取到的语音信息中的一路语音信号通过ASR语音识别模块转换成文本信息，并从所述文本信息中提取用户的文本情绪状态；

将获取到的语音信息中的另一路语音信号通过预设的语音情绪感知器提取出用户的音频情绪状态；

将获取到的人脸图像信息通过预设的表情识别系统提取出用户的表情状态；

将所述文本情绪状态、音频情绪状态以及表情状态输入至预设的情绪识别模型。

4.根据权利要求3所述的基于情绪引擎技术的语音交互方法，其特征在于，所述从所述文本信息中提取用户的文本情绪状态的步骤，具体包括：

对所述文本信息进行特征提取，提取出语句信息，并根据所述语句信息从预设的记忆图谱中获取到用户的个人信息；

将所述语句信息与用户的个人信息输入到预设的情绪状态识别模型，识别出用户的文本情绪状态。

5.根据权利要求4所述的基于情绪引擎技术的语音交互方法，其特征在于，所述将所述语句信息与用户的个人信息输入到预设的情绪识别模型，识别出用户的文本情绪状态的步骤，具体包括：

从所述语句信息中提取出关键词，并根据所述关键词得到用户的第一情绪状态和第一信心分值；

将所述语句信息和用户的个人信息输入至深度学习模型中，得到用户的第二情绪状态和第二信心分值；

将所述第一信心分值与预设的阈值进行比较；

若所述第一信心分值大于阈值，将所述第一情绪状态作为用户的文本情绪状态；若所述第一信心分值小于阈值，将第一情绪状态和所述第二情绪状态进行动态排序，并根据动态排序的结果决定出用户的文本情绪状态。

6.根据权利要求1所述的基于情绪引擎技术的语音交互方法，其特征在于，所述通过所述情绪识别模型计算出用户的情绪，并基于用户的情绪生成拟人化的语音交互策略，并输出的步骤，具体包括：

所述情绪识别模型对输入的文本情绪状态、音频情绪状态以及表情状态进行加权计算，得出用户的情绪；

将得出的情绪与预设的情绪数据库进行对比匹配，得出对应的情绪特征信息；

基于得到的情绪特征信息，进行情绪意图决策和用户画像填充；

根据得到的情绪意图决策结果和用户画像信息，通过对话生成模型来生成带有情绪的语音交互信息，并输出。

7.根据权利要求6所述的基于情绪引擎技术的语音交互方法，其特征在于，所述通过对话生成模型来生成带有情绪的语音交互信息的步骤，具体包括：

对话生成模型接收用户输入的问题信息，并记录用户的历史对话信息、位置变换信息以及情绪变化信息；

分析出用户的个人信息和活动状态，得到用户画像信息；

根据问题信息和用户画像信息，生成语音交互信息；所述语音交互信息还用于对所述对话生成模型进行更新。