[发明专利]一种基于注意力机制和混合网络的群体图像情绪识别方法

说明书

本发明涉及一种基于注意力机制和混合网络的群体图像情绪识别方法，包括以下步骤：步骤1：使用卷积网络模型以检测和提取图像中人的面部信息并输入面部CNN，通过注意力机制结合图像中的面部特征获取面部特征的单个表示；步骤2：使用姿势估计方法获取图像中人体骨架信息并输入骨架CNN；步骤3：利用数据库训练各分支网络模型；步骤4：融合各个模型的预测结果，执行网络搜索以学习每个模型的权重；步骤5：通过权重得出混合网络针对图像的最终识别结果。与现有技术相比，本发明具有降低由个别面部表情混淆最终分类的概率，充分结合了图像中场景、人脸、骨架的特征信息，降低由不同特征混淆最终分类的概率，更高的识别准确率等优点。

技术领域

本发明涉及群体情绪识别技术领域，尤其是涉及一种基于注意力机制和混合网络的群体图像情绪识别方法。

背景技术

智能情感分析研究已经走过了漫长的道路，但传统上一直关注场景中的单一个体，对群体情感识别的研究相对匮乏，然而，随着城市人口的迅速增长，研究对象由个体逐渐转变为群体。群体可分为大小群体，大群体如街道的人流，此时人与人之间并没有情感的交流和统一的情绪，本发明是对多位个体间有情感交流的小群体进行情绪识别。并且在拥挤的环境中，由于遮挡和分辨率的问题，很难根据个人的表情去推断群体的情感。因此，基于小群体情感识别显得尤为重要，它不仅可以应用于监控视频的异常检测，预测小群体情绪变化，保证社会安全。还可以应用于智能城市的规划，以给人们提供更加人性化的服务。如何高效地识别群体情感是目前急需解决的问题。

群体情绪识别最早由Dhall等人进行，该工作介绍了AFEW数据库和群体情绪识别框架，包括使用面部动作单元提取面部特征，在对齐的面上提取低级特征，使用GIST和CENTRIST描述符提取场景特征并使用多核学习融合。然而，他们提出的方法依赖于LBQ和PHOG特征和CENTRIST，其捕获面部表示和场景表示是有限的。

以往的情绪识别广泛使用人体面部特征，但根据实验心理学和情感计算的研究结果，身体姿势特征也传达重要的情感信息。人脸标志可直接作为位置向量，或者通过计算它们之间的几何距离来识别情绪，身体姿势特征主要被编码为图像中身体区域的手工特征。为了保留人脸标志和身体特征关键点的相对位置，可使用骨架特征表示，对应于人脸、身体和手的关键点集合。由于面部遮挡、光照变化、头部姿势变化，各种室内和室外环境不同以及由于相机距离不同而导致低分辨率的面部图像，因此群体情绪识别问题具有挑战性。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于注意力机制和混合网络的群体图像情绪识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于注意力机制和混合网络的群体图像情绪识别方法，包括以下步骤：

步骤1：使用卷积网络模型以检测和提取图像中人的面部信息并输入面部CNN，通过注意力机制结合图像中的面部特征获取面部特征的单个表示；

步骤2：使用姿势估计方法获取图像中人体骨架信息并输入骨架CNN；

步骤3：利用数据库训练各分支网络模型；

步骤4：融合各个模型的预测结果，执行网络搜索以学习每个模型的权重；

步骤5：通过权重得出混合网络针对图像的最终识别结果。

优选地，所述的步骤1包括以下分步骤：

步骤11：使用多任务级联卷积网络模型获取图像中人的面部信息；

步骤12：将面部信息输入面部CNN；

步骤13：引入损失函数减轻过拟合；

步骤14：通过注意力机制找到图像中每个面部的概率权重并获得单个面部特征向量。