[发明专利]基于光流注意力神经网络的跨库微表情识别方法及装置

说明书

本发明公开了一种基于光流注意力神经网络的跨库微表情识别方法及装置，方法包括：(1)获取两个不同的微表情数据库作为训练集和测试集；(2)将微表情视频转化为人脸图像序列；(3)从每一人脸图像序列中抽取起始帧、峰值帧和终止帧，由起始帧和峰值帧计算得到第一单通道光流图，由峰值帧和终止帧计算得到第二单通道光流图；(4)将每一人脸图像序列的第一单通道光流图、第二单通道光流图和峰值帧组成融合特征图；(5)建立光流注意力神经网络，并将训练集和测试集对应融合特征图作为输入进行训练；(6)将待识别的微表情视频处理得到融合特征图，输入光流注意力神经网络，得到微表情类别。本发明泛化能力强，识别准确率高。

技术领域

本发明涉及图像处理技术，尤其涉及一种基于光流注意力神经网络的跨库微表情识别方法及装置。

背景技术

微表情(Micro-Expression)是一种人类在试图隐藏某种情感时无意识做出的短暂的面部表情。微表情是一种重要的真实情感信息，通常能够有效地反应一个人的真实心理状态，被认为是识别谎言的关键信息，对理解人类真实情感状态，有着重要的作用。因此，有效准确识别微表情，对日常生产生活有着重大的意义。例如，在刑侦时，经过微表情识别训练的审讯员可以更有效地判断嫌疑人话语的真实性，更有针对性地获取可靠信息；在临床医疗中，医生可以通过微表情识别有效推测患者的真实状态，从而更有效地与患者交流，改进治疗方案。与普通表情相比，微表情持续非常短，研究表明微表情仅持续1/25～1/3s。与此同时微表情面部肌肉动作幅度也非常小，通常只发生在人脸中很小的一部分区域，不会同时出现在上半脸和下半脸。因此对于没有经过专业训练的普通人，捕捉并正确识别微表情有着相当的难度。但人工识别微表情的经济成本和时间成本较高，难以大规模推广，并且人工识别易受环境的影响。受益于计算机视觉技术的快速发展，当前通过计算机手段自动识别微表情具有一定的可行性和商业价值。

微表情识别指将给定的微表情样本识别为某一具体的情绪类别，相关研究主要基于传统机器学习方法，依靠LBP相关的时空描述子特征或光流相关的特征。LBP-TOP特征是局部二值模式(Local Binary Pattern,LBP)在三维空间上的拓展，可有效描述图片序列的动态纹理特征，最早由Pfister等人应用于微表情识别，随后其大量改进模式被广泛应用于微表情识别，如Huang等人提出的完备局部量化模式(Spatial Temporal Completed LocalQuantized Pattern,STCLQP)；Wang等人提出的六交点局部二值模式 (LBP with SixIntersection Points,LBP-SIP)等等。另一主流特征是光流(Optical Flow,OF)，时序动态信息被证明是微表情的有效描述手段，而有关光流的研究证实了图像序列的时序动态信息可以有效改进微表情识别的效果，如Xu等人提出的面部动力谱特征(Facial DynamicsMap,FDM)；Liu等人提出的主方向平均光流特征(Main Directional Mean Optical flowfeature,MDMO)等等。

随着深度学习的飞速发展，研究人员也在着手将其应用于微表情识别工作。Kim等人提出了一个基于卷积神经网络(Convolutional Neural Network,CNN)和长短时记忆循环神经网络(Long Short Term Memory Recurrent Neural Network,LSTM RNN)的时空特征学习网络，该方法使用所有微表情视频样本的峰值帧训练CNN学习空间特征，而后使用CNN的输出作为特征训练LSTM网络学习时间特征，这是深度学习在微表情识别工作上的首次尝试。当前绝大部分有关微表情识别的研究仅可以取得60％以上的识别率，距离实际应用仍有一段距离；此外随着微表情数据集的扩充，基于深度学习的方法将是微表情识别在未来的主要研究方向之一，但目前相关研究较少，整体进展也较为缓慢。

传统微表情识别往往在单个微表情库上进行训练和测试，而同一微表情数据库数据通常建立在相同的实验范式下，训练集和测试集选自同一数据库，往往不能有效的识别其他微表情数据库中的样本，泛化能力差。

发明内容