[发明专利]基于人物性格与人际关系识别的人机交互系统及工作方法

说明书

本发明属于计算机视觉领域和人机交互领域，提供了一种基于人物性格与人际关系识别的人机交互系统及工作方法，包括：检测模块：对图片或视频进行检测，得到人脸人体图像的真实区域；信息特征提取模块：提取人脸人体图像特征，分析人脸属性和人体行为；信息特征整合模块：将前一模块输出的人脸和人体信息合并，组成每个人的特征向量；性格喜好判别模块：根据输入的特征向量分析人物性格喜好；关系判别模块：判断图中或视频中人物关系；人机对话模块：根据人物性格喜好和人物关系，选择话题与用户沟通。本发明分析图中或视频中人物性格喜好和人物之间的关系，选择合适话题主动与用户沟通，让人机交互方式更加智能，更加亲切自然，更加人性化。

技术领域

本发明属于计算机视觉领域和人机交互领域，具体涉及基于人物性格与人际关系识别的人机交互系统及工作方法。

背景技术

随着科技的发展，现代几乎各种技术的发展都涉及到了人工智能技术，可以说人工智能已经广泛应用到许多领域。它是计算机科学、控制论、信息论、神经生理学、心理学、语言学等多种学科互相渗透而发展起来的一门综合性学科。从计算机应用系统的角度出发，人工智能是研究如何制造智能机器或智能系统，来模拟人类智能活动的能力，以延伸人们智能的科学。

目前人工智能里的聊天机器人或情感机器人和人的交互方式：首先用户主动发起话题，输入一段文字、一段语音、一张图像或者一个段视频，然后机器人根据用户输入的内容做出相应的反馈。对于文字和语音，现有的机器人能够给出相当不错答复，但是对于图片或视频内容，现有的机器人仅能识别画面中的人和物，但无法识别人与人之间的关系，也很难把他们联系起来与用户做更好的互动交流，提供更加人性化的交流体验。

发明内容

针对以上问题的不足，本发明提供了一种基于人物性格与人际关系识别的人机交互系统及工作方法，本发明对输入的图像或视频中的人员进行性格喜好分析，并对其中的人员之间关系的进行分析判别，选择合适的话题主动与用户进行沟通，更易激发用户聊天的兴趣，让这种人机交互方式更加智能，更加亲切自然，更加人性化，解决了现有的机器人只能识别图片和视频中的人物，而无法很好的融入到聊天的话题当中的问题。

为实现上述目的，基于人物性格与人际关系识别的人机交互系统，包括：

检测模块：根据用户输入的图像或视频进行人脸和人体检测，得到待测物体即人脸图像和人体图像的真实区域，并统计图像中的人数；

信息特征提取模块：对检测模块得到的人脸图像和人体图像区域分别提取人脸图像特征和人体图像特征，分析人脸属性和人体行为；

信息特征整合模块：将信息特征提取模块输出的每个人的人脸和人体信息合并到一起，组合成一个固定维度的特征向量；

性格喜好判别模块：将信息特征整合模块整合后的每个人的特征向量输入到性格喜好分类器中，输出每个人在力量型、活泼型、和平型和完美型四种性格中的概率；

关系判别模块：判断图中的人数，如果图中有两个及以上的人数，将信息特征整合模块整合后的每个人的特征向量两两配对输入到关系分类器中，判别每俩人之间的关系；

人机对话模块：将通过性格喜好判别模块得到的每种性格的概率进行排序，挑选概率最大的一类性格，根据知识库中的资料，得到此种性格对应的人所具有的特质和喜好，然后根据关系判别模块输出的人物关系，选择合适的话题与用户交流沟通。

进一步地，所述检测模块包括人脸检测模块和人体检测模块；所述人脸检测模块用于得到人脸区域图像，所述人体检测模块用于得到人体区域图像。

进一步地，所述信息特征整合模块包括人脸图像特征提取模块、人脸属性分析模块、人体图像特征提取模块、人体关键点和行为分析模块；所述人脸图像特征提取模块输出人脸图像特征向量，人脸属性分析模块输出人脸属性向量，人体图像提取模块输出人体图像特征向量，人体关键点和行为分析模块输出人体行为向量。