[发明专利]一种基于区域关系建模和信息融合建模的表情识别方法

说明书

本发明公开了一种基于区域关系建模和信息融合建模的表情识别方法。该方法通过对表情显著区域的关系进行建模，以及表情显著区域的信息融合进行建模，基于卷积神经网络、循环神经网络以及自动编码器对输入图片的表情进行识别，并且生成表情特征模式图。不同于之前的识别方法，该方法模拟了两个层次的信息建模，最大化提取表情相关特征的同时能够抑制噪声信息。并且通过自动编码器生成表情特征模式图，增强了表情识别的可解释性。

技术领域

本发明属于图像识别、人脸表情识别领域，特别地涉及一种基于区域关系建模和信息融合建模的表情识别方法。在算法设计和模型训练部分涉及了深度学习技术。

背景技术

人脸表情识别是下一代人机交互的重要途径之一。其目标是根据当前人脸图像，自动分析出用户的情绪特征，并划分为某一类别。

对于人脸表情识别的方法，大体可以分为两个流派。第一种是基于人脸动作编码系统(Facial Action Coding System)。它将人脸面部与表情运动有关的肌肉区域进行编码，形成不同的AU(Action Unit)。通过检测一张人脸图像中不同AU的出现与否，来分析当前用户的表情。

而另一类表情识别的方法主要是基于深度学习方法。通过设计不同结构的深度学习网络，对当前人脸图像的表情特征进行提取并分类，得到用户的表情类别。随着计算资源的不断发展，这类方法受到越来越多研究者的重视。本发明所提出的方法也是基于深度学习方法。

人脸表情识别有其独特性，即在人脸中仅有少部分的表情肌肉运动提供了关键性的信息，而大部分人脸样貌特征对于表情识别来说存在着负作用。因此，如何从人脸的样貌特征中提取出最具有价值的表情特征，是设计深度网络的关键所在。而注意力模型给这个问题提供了良好的思路。通过对人脸图片中的关键性表情变化区域进行注意力加强，能够使得提取表情信息的同时最大程度地减少人脸样貌特征的带来的影响。

发明内容

本发明的目的在于提供了一种基于区域关系建模和信息融合建模的表情识别方法。该方法通过两次建模，实现了从人脸图像中对表情特征进行提取和融合，并完成表情识别分类。

为实现上述目的，本发明的技术方案为：一种基于区域关系建模和信息融合建模的表情识别方法。该方法为：使用目标人脸图像生成表情掩模初值，用于指示表情显著性区域。通过对显著性区域之间的关系进行建模，优化掩模的生成结果。将掩模应用于初始表情特征后形成新的表情特征，并对表情特征进行融合建模，形成维度更低、更紧凑的特征用于分类；同时，生成表情模式图，提升表情识别可解释性。

具体的，本发明方法包括如下步骤：

步骤1：预训练网络并生成表情掩模。基于包括L种不同类别的表情图像数据{表情图像I_i，表情类别标签y_i}，其中i＝1,…,N为样本编号。使用卷积神经网络Exp-Net产生中间特征其中H,W,C分别为G_ori的长、宽和通道数。卷积神经网络Mask-Net利用Exp-Net产生的中间特征G_ori来学习表情显著区域，并生成单通道掩模将掩模M应用于特征G_ori上，形成新的表情特征

步骤2：将G_mask输入Exp-Net的后续层完成表情识别分类任务并进行网络预训练，得到优化的Exp-Net权值；

步骤3：构建Refine-Net模型并得到隐特征h。所述Refine-Net模型由单层循环神经网络RNN组成，将步骤1得到的掩模M输入到Refine-Net模型中生成隐特征h；

步骤4：精调掩模M的区域。将Mask-Net与步骤3构建的Refine-Net级联，使用Triplet-Loss对h进行度量学习，以优化Mask-Net的神经元权重，使其生成的掩模M能够更加准确地反映表情显著区域；