[发明专利]一种基于长短时记忆网络的微表情识别方法

说明书

本发明提供了一种基于长短时记忆网络的微表情识别方法，包括：A、微表情样本处理：1)处理微表情数据集的样本数据和标签数据；2)构建分层数据格式hdf5训练和测试文件；B、长短时记忆网络训练：3)构建卷积神经网络模型，为所构建的卷积神经网络模型微调参数，并训练一个柔性最大值损失函数，使其参数最佳；4)固定训练好的卷积神经网络模型的参数，训练长短时记忆网络模型，使得特定维的损失函数降到最低；C、微表情识别：根据训练好的长短时记忆网络模型，初始化测试参数，将用于测试的样本送入训练好的长短时记忆网络模型中，经过网络前向传播之后输出识别率。本发明提取的特征较已有方法更具有鲁棒性。

技术领域

本发明涉及一种基于长短时记忆网络的微表情识别方法，属于深度学习和模式识别的技术领域。

背景技术

微表情是一种表达人隐藏情感的情绪，通常发生在250ms～500ms的周期中，其在犯罪学、心理学、教育学等领域应用前景广泛。不同于微表情识别的是，表情识别通过检测人的面部表情变化来反映其情绪状态，这种识别技术虽然能从表面判定人的心理情绪，但是无法揭露其试图掩盖的情绪，例如，“强颜欢笑”对人表情和心理情绪不对照的描述，在这种情况下如果将其作为表情识别，虽然能识别出表面的表情却无法反应人内心的心理活动变化，因此，微表情识别作为逐渐兴起的一种面部识别技术在揭露人试图掩盖与隐藏的真实情感方面有很大的优势，然而，由于微表情较表情识别研究起步晚，因此仍面临诸多挑战。

目前，微表情识别主要通过机器学习算法实现，由于特征提取方式固定，现有主流微表情识别方法的识别率普遍不高，无法满足其在多种领域的应用需求，从特征提取方面着手来提高微表情识别率势在必行。

微表情的特征提取主要围绕时间和空间三个平面下各自的特征提取来进行，例如，对一副平面图像(X、Y两个轴)可以提取局部二元模式(LBP)的特征，而在提取微表情这种图像序列的特征时则将LBP应用到X、Y、Z三个轴上，对X-Y、X-Z、Y-Z三个平面分别提取LBP特征，这种方式是目前比较常见的微表情特征提取方式，即将二维下的提取算法拓展到三维领域，然后再将提取的特征划分成训练样本和测试样本用分类器进行训练和测试，这样做虽然能提取时间的特征，但是并不能反映图像帧与帧之间的细微变化，并且先提取特征再训练测试的方式繁琐。近年来，随着大数据的出现，为传统的模式识别增添活力，使得基于大数据的深度学习方式在行为识别、人脸识别、语义分割等领域有了新的突破，如何将深度学习应用于微表情识别，提取三维特征和反映帧之间细微变化微表情识别亟待解决的问题。

发明内容

针对现有技术的不足，本发明提供了一种基于长短时记忆网络的微表情识别方法。

发明概述：

一种基于长短时记忆网络的微表情识别方法，包括微表情样本处理、长短时记忆网络训练和微表情识别。

为了应对长短时记忆网络双标签的问题，将微表情样本以及标签加以处理组成训练样本。为了使提取的特征更具有鲁棒性，采用了卷积神经网络和长短时记忆网络结合的训练方式，将卷积神经网络的输出作为长短时记忆网络的输入。为了使卷积神经网络更快收敛，训练卷积神经网络时通过微调已有的卷积神经网路模型来训练本模型。

术语解释：

hdf5，是指Hierarchical Data Format第五版本，是一种分层数据格式，通常用于多层次数据格式的存储。类似于字典模型，在hdf5中可以定义多种不同数据格式，并分别命名，例如可以在一个hdf5文件中，定义一个data层并存储其data对应的数据，再定义一个label层并存储label对应的数据。

本发明的技术方案如下：

一种基于长短时记忆网络的微表情识别方法，包括：

A、微表情样本处理

1)处理微表情数据集的样本数据和标签数据；