[发明专利]一种基于特征重建模型的低分辨率图像人脸表情识别方法

说明书

本发明公开了一种基于特征重建模型的低分辨率图像人脸表情识别方法，属于人脸图像表情识别领域。本发明包括构建训练和测试数据集；之后训练特征重建模型的人脸表情识别模型，使用固定参数的特征提取网络提取图像表情特征，再采用生成对抗网络方式训练模型获得表情特征生成器和特征判别器，使用FSRG为输入图像重建特征得到Fsubgt;SR/subgt;；由全连接网络和softmax函数层组成的分类器对特征Fsubgt;SR/subgt;进行分类，并使用softmax层输出的样本对应的正确类别的概率值对样本损失进行重新加权；本发明对输入图像的分辨率不敏感，提升了较低分辨率下的识别准确率，且在各个分辨率上的识别效果更加稳定。

技术领域

本发明属于人脸图像表情识别领域，尤其是一种基于特征重建模型的低分辨率图像人脸表情识别方法。

背景技术

面部表情是人类表达情绪的最直接、最自然的信号之一。人脸表情识别是人机自然交互、计算机视觉、情感计算和图像处理等研究的一个热点课题，在人机交互、远程教育、安全领域、智能机器人研制、医疗、动画制作等领域有着广泛的应用。

在不同场景下，由于设备、环境的变化以及针孔相机的成像原理，多人照相场景下的人物面部图像存在“近大远小”不同分辨率问题，在网络传输和存储中也会对图像进行压缩，降低图像的质量和分辨率。在低分辨率场景下算法的识别准确率会受到严重影响。为了更加准确的识别人物的表情，需要减少分辨率变化带来的影响。随着深度学习和图像超分辨率等技术的发展，在处理低分辨率输入图像时，多采用先对图像进行超分辨率重建，后进行识别的方法。重建图像的方法有如下缺点，第一：虽然相比直接使用低分辨率图像进行表情识别的方法相比有所提升，但时会造成计算量大量增加、效果不稳定等问题。第二：由于表情识别的对象是人脸，对人脸图像进行高分辨率重建容易导致隐私泄露问题，这一点在国际研究中越来越受到重视。

发明内容

本发明的目的在于克服重建人脸图像计算量大、隐私易泄露的缺点，提供一种基于特征重建模型的低分辨率图像人脸表情识别方法。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于特征重建模型的低分辨率图像人脸表情识别方法，包括以下步骤：

1)收集分辨率大于等于100x100像素的人脸表情图像并标注表情类型，作为原始图像I_HR；对原始图像进行2-8倍的整数倍率降采样，得到对应的低分辨率图像，所述低分辨率图像的表情类别标签和原始图像保持一致；将原始图像和对应的低分辨率图像划分为训练集和测试集；

2)采用生成式对抗网络方法训练神经网络模型；

将原始图像和各倍率的低分辨率图像输入到特征提取器E中，特征提取器E提取并计算原始图像的特征矩阵F_HR和各倍率的低分辨率图像特征矩阵F_LR；

低分辨率图像特征矩阵F_LR输入到表情特征生成器FSRG中，输出生成重建特征矩阵F_SR；

原始图像的特征矩阵F_HR和对应的低分辨率图像的重建特征矩阵F_SR输入到特征判别器FSRD中，比较两者在分布空间上的差异，通过反向传播优化特征判别器FSRG；

重建表情特征F_SR输入到双层全连接的表情分类器C中进行分类，表情分类器C计算样本被分为各个类别的概率，并用每个样本被正确分类的概率值计算权重系数对所述样本的损失进行重加权，加速神经网络的收敛；

重复以上训练过程，直至得到训练好的神经网络模型；

3)将待识别表情的人脸图像输入到训练好的神经网络模型中，特征提取器E提取输入图像的特征矩阵F，特征生成器FSRG生成重建后的特征矩阵F_SR，分类器C计算并输出识别结果的类别标签。