[发明专利]一种基于多任务学习的代表性AU区域提取的微表情识别方法

权利要求书

1.一种基于多任务学习的代表性AU区域提取的微表情识别方法，其特征在于，包括步骤如下：

A、对微表情视频进行预处理，得到包含人脸区域的图像序列及其68个关键特征点；

B、根据68个关键特征点，获取AU区域的位置，提取AU区域内的光流特征，设置代表性AU区域的个数，得到最具代表性的AU区域；

C、数据集划分，根据被试独立的K折交叉验证法将步骤A得到的包含人脸区域的图像序列划分训练集和测试集，得到微表情训练集和微表情测试集；

D、将步骤A处理后的人脸图像序列送入AU掩膜特征提取网络模型，计算基于像素的交叉熵损失和骰子损失，训练AU掩膜特征提取网络模型；

E、将步骤A处理后的包含人脸区域的图像序列送入训练好的AU掩膜特征提取网络模型，得到全部AU区域和代表性AU区域的掩膜，选择代表性AU区域的掩膜与步骤A处理后的包含人脸区域的图像序列相乘，得到只包含代表性AU区域的人脸图像序列；

F、使用步骤A的预处理方法处理宏表情视频，得到宏表情的人脸图像序列，将得到的宏表情的人脸图像序列和步骤C得到的微表情训练集送入包含非局部模块的3D-ResNet网络模型中，计算交叉熵损失和跨模态四元组损失，训练包含非局部模块的3D-ResNet网络模型；

G、将步骤C得到的微表情测试集送入训练好的包含非局部模块的3D-ResNet网络模型，计算交叉熵损失，得到微表情测试集对应的微表情类别，计算正确分类的样本数占总样本数的比例，作为本次实验的分类准确率；

H、重复K次实验，取K次实验的分类准确率的均值作为最终的分类准确率；

步骤D中，将预处理后的人脸图像序列送入AU掩膜特征提取网络模型，AU掩膜特征提取网络模型包括共享模型、分类器a及分类器b；使用双流的多任务学习进行AU掩膜特征提取网络模型的训练，一流将输入的微表情图像序列输入到共享模型、分类器a，进行粗糙二分类，若当前像素属于AU区域的所在区域，则标记为前景，否则为背景；另外一流输入到共享模型、分类器b中，进行精细二分类，若当前像素属于最具代表性的AU区域所在区域，则标记为前景，否则为背景；

采取在线的跨模态四元组选择策略，选择宏表情相近的情绪类型作为异类样本，将一类微表情作为锚样本，在宏表情中选择同类情绪的样本作为宏表情正样本，在微表情中选择同类情绪的样本作为微表情正样本，选择宏表情中与之相近的情绪类型的样本作为宏表情负样本，构成跨模态四元组样本对，样本对之间满足以下约束，如下式(14)、式(15)、式(16)所示：

式(14)、式(15)、式(16)中，f(x)表示样本x在3D-ResNet网络的倒数第二个全连接层的输出，x^a表示锚样本，表示与锚样本情绪相同的宏表情样本，表示与锚样本情绪相同的微表情样本，xⁿ表示与锚样本情绪相近的宏表情样本，α_i为边界参数，i∈{1,2,3}；f(x^a)代表x^a在包含非局部模块的3D-ResNet网络模型的倒数第二个全连接层的输出，代表在包含非局部模块的3D-ResNet网络模型的倒数第二个全连接层的输出，代表在包含非局部模块的3D-ResNet网络模型的倒数第二个全连接层的输出，f(xⁿ)代表xⁿ在包含非局部模块的3D-ResNet网络模型的倒数第二个全连接层的输出；

跨模态四元组损失的目标函数L_cross-quad如式(17)所示：

式(17)中，输入样本经过包含非局部模块的3D-ResNet网络模型，输出样本的预测标签，记为a，a∈R^N，N为表情的类别数，样本的真实标签表示成独热编码的形式，记为y，y∈R^N，具体来说，若样本属于第j类，则将真实标签y的第j位设置为1，其余位设置为0，代表第i个锚样本，代表第i个与锚样本情绪相同的宏表情样本，代表第i个与锚样本情绪相同的微表情样本，代表第i个与锚样本情绪相近的宏表情样本，代表在包含非局部模块的3D-ResNet网络模型的倒数第二个全连接层的输出，代表在包含非局部模块的3D-ResNet网络模型的倒数第二个全连接层的输出，代表在包含非局部模块的3D-ResNet网络模型的倒数第二个全连接层的输出，代表在包含非局部模块的3D-ResNet网络模型的倒数第二个全连接层的输出；

使用交叉熵损失函数L_softmax评估预测标签和真实标签之间的差距，如式(18)所示：

式(18)中，a_i为样本预测为第i类的概率，i∈{1,2,...,N}，y_i为真实标签y在第i位的值。