[发明专利]基于局部与整体特征自适应融合的表情识别方法及系统

权利要求书

1.一种基于局部与整体特征自适应融合的表情识别方法，其特征在于，该方法包含以下步骤：

(1)获取包含类别标签的表情图像集；

(2)对表情图像集中的图像进行人脸检测、裁剪和对齐处理；

(3)构建表情识别模型，该模型包括数据处理模块、特征提取模块、特征融合模块和分类层；

所述数据处理模块，使用滑动的采样窗口对输入的人脸整体图像进行K次采样，得到K个人脸局部区域图像，并对K个人脸局部区域图像的大小进行归一化，统一调整到与输入的人脸整体图像相同的大小，其中，采样窗口的滑动步长是固定或随机的，采样窗口的大小介于人脸整体图像大小的1/4到3/4之间，K的取值介于4到16之间的整数；

所述特征提取模块，用于提取人脸整体图像及其K个人脸局部区域图像的特征向量，该模块包含(K+1)个相同结构的特征提取单元，人脸整体图像及其K个人脸局部区域图像并行输入到(K+1)个特征提取单元中，同时提取到(K+1)个特征向量；

所述特征融合模块，用于将特征提取模块输出的(K+1)个特征向量根据注意力权重自适应融合，该模块包括注意力机制模块、特征选择单元和累加器，其中注意力机制模块用于确定(K+1)个特征向量的注意力权重；特征选择单元用于筛选保留权重较大的重要特征向量；累加器用于将保留的重要特征向量进行加权融合，得到融合特征向量；

所述分类层，用于对特征融合模块输出的表情特征向量进行分类识别，得到表情类别；

(4)使用表情图像集中的图像作为训练样本对构建的表情识别模型进行训练，通过误差反向传播算法调整表情识别模型的参数至最优；

(5)利用训练好的表情识别模型对新输入的测试图像进行表情分类识别；

所述步骤(4)中的训练过程，包括以下子步骤：

(4.1)将预处理后的人脸整体图像输入到表情识别模型的数据处理模块，得到K个大小归一化后的人脸局部区域图像；

(4.2)将人脸整体图像及其K个人脸局部区域图像并行输入到特征提取模块的(K+1)个特征提取单元中，分别输出(K+1)个特征向量；

(4.3)在每轮训练中，调整注意力机制模块的参数，计算出(K+1)个特征向量的注意力权重；特征选择单元以人脸整体图像特征向量的注意力权重作为设定阈值，保留注意力权重大于或等于设定阈值的特征向量，剔除注意力权重小于设定阈值的特征向量；累加器将注意力权重大于或等于设定阈值的特征向量进行加权融合，输出融合特征向量；

(4.4)分类层对特征融合模块输出的融合特征向量进行分类，分类层损失函数是在交叉熵损失函数的基础上加入基于注意力权重的约束项，通过误差反向传播算法调整表情识别模型的参数，使用表情图像集中的图像作为训练样本，不断迭代训练过程直至模型参数达到最优。