[发明专利]一种基于长短时记忆网络的微表情识别方法

权利要求书

1.一种基于长短时记忆网络的微表情识别方法，其特征在于，包括：

A、微表情样本处理

1)处理微表情数据集的样本数据和标签数据；

2)构建分层数据格式hdf5训练和测试文件；

B、长短时记忆网络训练

3)构建卷积神经网络模型，通过利用训练好的网络模型为所构建的卷积神经网络模型微调参数，并训练一个柔性最大值损失函数，使得所构建的卷积神经网络模型的参数最佳；

4)固定训练好的卷积神经网络模型的参数，训练长短时记忆网络模型，使得特定维的损失函数降到最低；

C、微表情识别

根据训练好的长短时记忆网络模型，初始化测试参数，将用于测试的样本送入训练好的长短时记忆网络模型中，经过网络前向传播之后输出识别率。

2.根据权利要求1所述的一种基于长短时记忆网络的微表情识别方法，其特征在于，所述步骤A，微表情样本处理，微表情数据集的样本数据和标签数据包括每个微表情样本的图像序列、对应标签、连续标志位；图像序列记录当前图像的文件路径；连续标志位代表当前图像是否为一段序列的一张，连续标志位是0，则代表当前图像是当前序列的起始帧，连续标志位是1，则代表当前图像是当前序列的连续帧；包括：

a、将每个微表情样本的对应标签、连续标志位分别以数字的形式记录，将文件路径和两个数字分别写入一行文本，对于所有的微表情样本及其图像，保存为一个以行区分的文本；

b、按行读取文本，对于每一行，读取其第一个空格前内容所对应的图像数据，并保存为三维矩阵H×W×C，H、W、C分别代表图像的高、宽、通道数，并将三维矩阵H×W×C的高H、宽W调整到固定大小S×S，S的取值范围是100～300；通道数C保持不变；

c、将步骤b得到的调整后的矩阵转置为C×H×W，即调整大小和维数方向；

d、将步骤c得到的调整后的矩阵归一化处理后保存到hdf5的data中，每一行的剩余两个文字分别保存成数字后写入到hdf5的label中。

3.根据权利要求1所述的一种基于长短时记忆网络的微表情识别方法，其特征在于，所述步骤3)，构建卷积神经网络模型，通过利用训练好的网络模型为所构建的卷积神经网络模型微调参数，并训练一个柔性最大值损失函数，使得所构建的卷积神经网络模型的参数最佳；包括：

e、构建卷积神经网络结构：构建的卷积神经网络包括数据输入、卷积计算、全连接层和损失函数四部分，数据输入为图像数据层；卷积计算包括5层卷积层，每一层卷积层后接一个池化层和一个RELU激活函数，RELU激活函数为f(x)＝max(0,x)；5层卷积层后为三个全连接层，前两个全连接层将5层卷积层CNN输出特征规整维数为1024、2048或4096的特征，最后一个全连接层输出维数与微表情类别数相同；

卷积神经网络的输入为数据层的图像数据，假设数据的输入大小为T×N×C×H×W，T代表长短时记忆网络层处理的时间步的数量，在本发明中T代表一段图像序列的帧数，N代表一个最小批量里同时处理的序列个数，经过卷积神经网络后，输出大小为(T×N)×1×4096；

f、训练卷积神经网络：以行为识别中训练好的卷积网络为参数模板，通过共享其参数模型对卷积神经网络进行微调，即保留网络中的卷积层名称不变，改变全连接层的名称；使网络利用已有的参数微调，训练一个柔性最大值损失函数，柔性最大值损失函数L_CNN如式(Ⅰ)所示：

式(Ⅰ)中，σ_h,w(a_i)为h、w对应的柔性最大值函数，i＝0,1,...,M，M为微表情标签个数，a_i和a_j分别为送入柔性最大值损失函数之前在i和j处的网络输出，i代表M个标签中当前的标签，j代表将exp(a_j)所有M个加和中的第j个。