[发明专利]基于人物性格与人际关系识别的人机交互系统及工作方法

权利要求书

1.基于人物性格与人际关系识别的人机交互系统，其特征在于，包括：

检测模块：根据用户输入的图像或视频进行人脸和人体检测，得到待测物体即人脸图像和人体图像的真实区域，并统计图像中的人数；

信息特征提取模块：对检测模块得到的人脸图像和人体图像区域分别提取人脸图像特征和人体图像特征，分析人脸属性和人体行为；

信息特征整合模块：将信息特征提取模块输出的每个人的人脸和人体信息合并到一起，组合成一个固定维度的特征向量；

性格喜好判别模块：将信息特征整合模块整合后的每个人的特征向量输入到性格喜好分类器中，输出每个人在力量型、活泼型、和平型和完美型四种性格中的概率；

关系判别模块：判断图中的人数，如果图中有两个及以上的人数，将信息特征整合模块整合后的每个人的特征向量两两配对输入到关系分类器中，判别每俩人之间的关系；

人机对话模块：将通过性格喜好判别模块得到的每种性格的概率进行排序，挑选概率最大的一类性格，根据知识库中的资料，得到此种性格对应的人所具有的特质和喜好，然后根据关系判别模块输出的人物关系以及人所具有的特质和喜好，选择合适的话题与用户交流沟通；

所述信息特征整合模块包括人脸图像特征提取模块、人脸属性分析模块、人体图像特征提取模块、人体关键点和行为分析模块；所述人脸图像特征提取模块输出人脸图像特征向量，人脸属性分析模块输出人脸属性向量，人体图像提取模块输出人体图像特征向量，人体关键点和行为分析模块输出人体行为向量；

所述人脸属性分析模块将人脸图像输入到深层卷积网络模型，提取高度抽象化的轮廓特征和纹理特征，然后分别传递给性别分类器、年龄分类器和表情分类器；所述性别分类器输出男性、女性的概率，所述年龄分类器输出1至100的某一值，所述表情分类器输出五种表情的概率，所述五种表情为开心、生气、悲伤、惊恐和发呆。

2.根据权利要求1所述的基于人物性格与人际关系识别的人机交互系统，其特征在于，所述检测模块包括人脸检测模块和人体检测模块；所述人脸检测模块用于得到人脸区域图像，所述人体检测模块用于得到人体区域图像。

3.根据权利要求1所述的基于人物性格与人际关系识别的人机交互系统，其特征在于，所述人脸图像特征提取模块和人体图像特征提取模块采用HOG特征、SIFT特征和LBP特征这三种算法中的一种或几种的组合。

4.根据权利要求1所述的基于人物性格与人际关系识别的人机交互系统，其特征在于，所述人体关键点和行为分析模块将人体图像输入到深层卷积网络模型分步提取特征，第一阶段提取到关键点的初略特征，然后从第一阶段到第T阶段按照从粗到精的思路逐步提取更加细微的特征，最后对这些特征进行回归分析，得到人体各部位的关键点坐标，根据这些人体关键点分析图中每个人彼此之间的行为，所述行为包括牵手、拥抱、搭肩和分离。

5.根据权利要求1所述的基于人物性格与人际关系识别的人机交互系统，其特征在于，所述检测模块的具体工作方法如下：

步骤a1：输入待测图片或视频；

步骤a2：通过深层卷积神经网络模型提取图像特征并生成特征图；

步骤a3：将图像对应的特征图分解成若干个可能含有待测物体的矩形框；

步骤a4：对每个矩形框包含的特征输入回归器中判别待测物的概率，通过非极大值抑制和设定阈值的方法，合并重叠的矩形框和去除概率较小的矩形框；

步骤a5：对剩下的矩形框的边界进行微调，微调后的矩形框位置即为待测物体即人脸图像和人体图像的真实区域。

6.基于人物性格与人际关系识别的人机交互系统的工作方法，其特征在于，包括以下步骤：

步骤S1：根据用户输入的图像或视频进行人脸和人体检测，得到待测物体即人脸图像和人体图像的真实区域，并统计图像中的人数；

步骤S2：利用第一步得到的人脸图像和人体图像区域分别提取人脸图像特征和人体图像特征，分析人脸属性和人体行为，并输出人脸图像特征向量、人脸属性向量、人体图像特征向量和人体行为向量；

步骤S3：将从上一步得到的每个人的人脸图像特征向量、人脸属性向量、人体图像特征向量和人体行为向量合并到一起，组合成一个固定维度的特征向量；

步骤S4：将每个人的特征向量输入到性格喜好分类器中，输出每个人在力量型、活泼型、和平型和完美型四种性格中的概率；

步骤S5：判断图中的人数，如果图中有两个及以上的人数，将信息特征整合模块整合后的每个人的特征向量两两配对输入到关系分类器中，输出每种关系的概率，设定关系阈值，在所有的关系概率中如果都小于阈值则不做判别，如果有某种关系的概率大于阈值即可判别此俩人属于这种关系；

步骤S6：将通过性格喜好判别模块得到的每种性格的概率进行排序，挑选概率最大的一类性格，根据知识库中的资料，得到此种性格对应的人所具有的特质和喜好；然后根据关系判别模块输出的人物关系以及人所具有的特质和喜好，选择合适的话题与用户交流沟通；

所述步骤S3具体包括：将人脸图像输入到深层卷积网络模型，提取高度抽象化的轮廓特征和纹理特征，然后分别传递给性别分类器、年龄分类器和表情分类器；所述性别分类器输出男性、女性的概率，所述年龄分类器输出1至100的某一值，所述表情分类器输出五种表情的概率，所述五种表情为开心、生气、悲伤、惊恐和发呆。