[发明专利]一种基于注意力机制和混合网络的群体图像情绪识别方法

权利要求书

1.一种基于注意力机制和混合网络的群体图像情绪识别方法，其特征在于，包括以下步骤：

步骤1：使用卷积网络模型以检测和提取图像中人的面部信息并输入面部CNN，通过注意力机制结合图像中的面部特征获取面部特征的单个表示；

步骤2：使用姿势估计方法获取图像中人体骨架信息并输入骨架CNN；

步骤3：利用数据库训练各分支网络模型；

步骤4：融合各个模型的预测结果，执行网络搜索以学习每个模型的权重；

步骤5：通过权重得出混合网络针对图像的最终识别结果，所述最终识别结果包括正面情绪、负面情绪或中性情绪；

所述的步骤1包括以下分步骤：

步骤11：使用多任务级联卷积网络模型获取图像中人的面部信息；

步骤12：将面部信息输入面部CNN；

步骤13：引入损失函数减轻过拟合；

步骤14：通过注意力机制找到图像中每个面部的概率权重并获得单个面部特征向量；

所述步骤12中的面部CNN采用ResNet18和SphereFace模型，其输入为96×112RGB对齐的人脸图像；

所述步骤3中的各分支网络模型还包括场景CNN，所述场景CNN的网络模型架构包括VGG19、ResNet101、SE-net154和DenseNet-161，所述场景CNN中还引入压缩和奖惩网络模块，其描述公式为：

s＝σ(W₂δ(W₁z))

式中，z_c为压缩通道的第c个元素，F_sq(.)为挤压函数，W和H为输入图像的宽度和高度，u_c(i,j)为第i个通道第j个元素的输入，σ为sigmoid函数，δ为ReLU函数，z为压缩通道的所有压缩量，W₁和W₂表示升维层和降维层，s为奖惩量。

2.根据权利要求1所述的一种基于注意力机制和混合网络的群体图像情绪识别方法，所述步骤13中的损失函数为L-Softmax损失函数。

3.根据权利要求1所述的一种基于注意力机制和混合网络的群体图像情绪识别方法，所述步骤14中的单个面部特征向量，其描述公式为：

式中，P_d为单个面部特征向量，δ_i为权重，p_i为面部特征向量。

4.根据权利要求1所述的一种基于注意力机制和混合网络的群体图像情绪识别方法，所述步骤2中的骨架CNN的网络模型架构包括ResNet101和SE-net154，所述步骤2中姿势估计方法采用OpenPose姿势估计方法。