[发明专利]一种基于特征重建模型的低分辨率图像人脸表情识别方法

权利要求书

1.一种基于特征重建模型的低分辨率图像人脸表情识别方法，其特征在于，包括以下步骤：

1)收集分辨率大于等于100x100像素的人脸表情图像并标注表情类型，作为原始图像I_HR；将图像的长和宽均变为原始分辨率的到得到对应的低分辨率图像，所述低分辨率图像的表情类别标签和原始图像保持一致；将一部分原始图像和对应的低分辨率图像作为训练集，将另一部分原始图像和对应的低分辨率图像作为测试集；

2)采用生成式对抗网络方法训练神经网络模型；

将原始图像和各倍率的低分辨率图像输入到特征提取器E中，特征提取器E提取并计算原始图像的特征矩阵F_HR和各倍率的低分辨率图像特征矩阵F_LR；

低分辨率图像特征矩阵F_LR输入到表情特征生成器FSRG中，输出生成重建特征矩阵F_SR；

原始图像的特征矩阵F_HR和对应的低分辨率图像的重建特征矩阵F_SR输入到特征判别器FSRD中，比较两者在分布空间上的差异，通过反向传播优化特征判别器FSRG；

重建表情特征F_SR输入到双层全连接的表情分类器C中进行分类，表情分类器C计算样本被分为各个类别的概率，并用每个样本被正确分类的概率值计算权重系数对所述样本的损失进行重加权，加速神经网络的收敛；

重复以上训练过程，直至得到训练好的神经网络模型；

步骤2)的训练过程中，特征生成器FSRG的损失函数由对抗损失L_GAN、特征矩阵F_SR和F_HR之间的感知损失L_P和二范数损失L₂组成；

对抗损失L_GAN为：

其中，b是数据批次的大小；

特征感知损失L_P为：

其中，C_FC()表示分类器C的最后一层全连接层的输出；

二范数损失L₂为：

特征生成器FSRG的损失为三者的线性加和：

L_FSRG＝L_GAN+λ₁L_P+λ₂L₂                       (11)

其中，λ₁和λ₂均为大于零的权重系数；

3)将待识别表情的人脸图像输入到训练好的神经网络模型中，特征提取器E提取输入图像的特征矩阵F，特征生成器FSRG生成重建后的特征矩阵F_SR，分类器C计算并输出识别结果的类别标签。

2.根据权利要求1所述的基于特征重建模型的低分辨率图像人脸表情识别方法，其特征在于，步骤2)中的特征提取器E由多个卷积层和非线性激活层组合而成，为经原始图像数据集预训练的表情识别模型的特征提取部分。

3.根据权利要求1所述的基于特征重建模型的低分辨率图像人脸表情识别方法，其特征在于，步骤2)中的特征提取器E中特征提取的过程为：

对于输入图像I，提取三维特征张量T，特征张量T的大小为w*h*n，其中，w和h为特征张量的长和宽，n为通道数；

计算特征张量T的协方差矩阵M：

其中，f_i代表特征张量T的一个通道，为特征张量各通道的平均值，n为特征张量T的通道数；

对协方差矩阵M进行特征值矫正，得到矫正的协方差矩阵M⁺：

M⁺＝M+λ*trace(M)*I                       (2)

其中，λ是大于零的系数，I是单位矩阵，trace(M)是矩阵M的迹；

对矫正的协方差矩阵M⁺进行池化操作并对特征值取对数，得到特征矩阵F。