[发明专利]基于多模态情绪与脸部属性识别的人机交互方法、系统

权利要求书

1.一种基于多模态情绪与脸部属性识别的人机交互方法，其特征在于，包括：获取用户的人脸图像和声音信息；

将所述声音信息转换为文字信息；

根据所述人脸图像、所述声音信息和所述文字信息，对情绪进行判别，确定情绪向量；

根据所述人脸图像，确定人脸属性特征；

根据回话策略，分析所述情绪向量、所述人脸属性特征和所述文字信息，输出回馈文字。

2.根据权利要求1所述基于多模态情绪与脸部属性识别的人机交互方法，其特征在于，输出回馈文字之后，该方法还包括：

将所述回馈文字转换为语音信息。

3.根据权利要求1所述基于多模态情绪与脸部属性识别的人机交互方法，其特征在于，分析所述情绪向量、所述人脸属性特征和所述文字信息之前，该方法还包括：

根据所述情绪向量的时间顺序和所述人脸属性特征，在语料库中确定对应的语料数据，进行输出。

4.根据权利要求1所述基于多模态情绪与脸部属性识别的人机交互方法，其特征在于，

根据所述人脸图像、所述声音信息和所述文字信息，对情绪进行判别，确定情绪向量，具体包括：

根据所述人脸图像、所述声音信息和所述文字信息，采用机器/深度学习算法，对情绪进行判别，确定情绪向量。

5.根据权利要求4所述基于多模态情绪与脸部属性识别的人机交互方法，其特征在于，所述情绪向量为四个。

6.根据权利要求1所述基于多模态情绪与脸部属性识别的人机交互方法，其特征在于，

将所述声音信息转换为文字信息之后，根据所述人脸图像、所述声音信息和所述文字信息，对情绪进行判别之前，该方法还包括：

校正检验所述文字信息；

根据所述人脸图像、所述声音信息和所述文字信息，对情绪进行判别，确定情绪向量，具体包括：

根据所述人脸图像、所述声音信息和校正检验后的文字信息，对情绪进行判别，确定情绪向量；

根据回话策略，分析所述情绪向量、所述人脸属性特征和所述文字信息，输出回馈文字，具体包括：

根据回话策略，分析所述情绪向量、所述人脸属性特征和校正检验后的文字信息，输出回馈文字。

7.根据权利要求1所述基于多模态情绪与脸部属性识别的人机交互方法，其特征在于，输出回馈文字之前，该方法还包括：

搜索所述用户的用户体验数据；

根据回话策略，分析所述情绪向量、所述人脸属性特征和所述文字信息，输出回馈文字，具体包括：

根据回话策略，分析所述情绪向量、所述人脸属性特征、所述文字信息和所述用户体验数据，从语料库中匹配目标语料数据，作为回馈文字，进行输出。

8.一种基于多模态情绪与脸部属性识别的人机交互系统，其特征在于，包括：

输入模块，用于获取用户的人脸图像和声音信息；

ASR模块，用于将所述声音信息转换为文字信息；

情绪模块，用于根据所述人脸图像、所述声音信息和所述文字信息，对情绪进行判别，确定情绪向量；

人脸属性识别模块，用于根据所述人脸图像，确定人脸属性特征；

对话模块，用于根据回话策略，分析所述情绪向量、所述人脸属性特征和所述文字信息，输出回馈文字。

9.根据权利要求8所述基于多模态情绪与脸部属性识别的人机交互系统，其特征在于，该系统还包括：语音TTS模块，用于将所述回馈文字转换为语音信息。

10.根据权利要求8所述基于多模态情绪与脸部属性识别的人机交互系统，其特征在于，该系统还包括：观察模块，用于根据所述情绪向量的时间顺序和所述人脸属性特征，在语料库中确定对应的语料数据，进行输出。