[发明专利]一种基于BERT网络的微表情检测方法

说明书

本发明涉及一种基于BERT网络的微表情检测方法，包括：A、对微表情视频进行预处理；B、将光流序列划分为训练集和测试集，计算交并比IoU作为该片段的标记值；C、构建时空特征提取模型，包括三维卷积神经网络和BERT网络；D、训练时空特征提取模型；E、根据训练好的时空特征提取模型，评估测试集候选微表情片段的交并比IoU；F、将具有高IoU值的连续候选微表情片段分组合并，并对重叠片段进行抑制，形成最终的微表情检测结果。本发明提取每一个时隙内的特征，为了更好的关注片段内不同时隙的重要性，利用BERT的注意力机制来提取不同时隙间的特征，充分利用了整个视频序列的信息。

技术领域

本发明涉及一种基于BERT网络的微表情检测方法，属于深度学习和模式识别技术领域。

背景技术

面部表情是由面部肌肉在情绪状态下收缩而产生的一种非语言交流形式。不同的肌肉运动和模式最终反映了不同类型的情绪。以表情强度分类主要分为宏表情和微表情。与宏表情相比，微表情通常发生在较短的持续时间(0.5s内)和较低的强度。微表情是一种短暂的无意识的面部表情，通常出现在人们试图隐藏自己的真实感受时，特别是在高风险的情况下。因此，微表情的研究具有重大意义，是人类情感和情感现象理解的重要课题，已被心理学、社会学、神经科学、计算机视觉等各个学科所探索。这些技能对心理治疗师、面试官和任何从事沟通工作的人都具有实际应用意义。

作为微表情分析的一个必要的预处理步骤，微表情检测指的是自动检测视频帧序列中微表情出现的序列片段。目前的微表情检测主要分为两类:起始结束帧检测和高潮帧的检测。

起始结束帧检测是通过微表情产生和结束的“窗口”来定位，通常用起始帧和结束帧来标记。Moilanen等人介绍了基于外观特征差异分析的微表情检测方法。该方法使用大小为N帧的滑动窗口，其中N为微表情的平均长度。将中心帧的特征与滑动窗口的平均特征帧进行比较，平均特征帧指的是窗口第一帧和最后一帧特征之间的平均值，形成特征差异向量，并用当前帧减去周围帧的差异值，最后通过阈值与峰值定位微表情。基本思想是，如果窗口与微表情重叠(特别是如果中心帧是微表情的峰值)，则平均特征帧与中心帧的特征之间的差异将大于当窗口不包含任何微运动时的差异。这种差异是通过在一对基于直方图的特征上使用卡方距离计算的。该方法使用的特征还有局部二值模式(LBP)、定向光流直方图(HOOF)、定向梯度三维直方图(3DHOG)和主要方向的平均光流特征(MDMO)。Zhang使用卷积神经网络提取视频特征，并提出了一种从长视频中提取顶点帧的特征矩阵处理方法，这是深度学习第一次用于微表情检测。Tran等人首次引入了循环神经网络(RNN)用于微表情定位,该方法使用长度为N的滑动窗口，N是微表情序列的最大长度，首先提取滑窗的定向光流直方图特征，之后送入长短时记忆网络(LSTM)，提取序列的时序特征。

除了发现面部微运动外，早期的工作还侧重于检测高潮帧。高潮帧，即表示微表情序列中最具表现力的情绪状态的瞬间，被认为能够有效地揭示特定视频的真实表达。在Yan和Chen的工作中，选择特征幅度最大的帧作为高潮帧，揭示了一些有趣的发现：约束局部模型算法(CLM)对基于轮廓的变化特别敏感，如眉毛运动，局部二值模式(LBP)特征更适合检测外观的变化，如嘴唇的按压；然而，光流特征(OF)是最全面的特征，因为它能够根据面部运动的主要方向和距离来发现高潮帧。由Liong等人提出了一种二进制搜索方法，在视频序列中自动定位高潮帧。Ma等人提出了定向光流区域直方图(RHOOF)特征来自动检测高潮帧。首先，检测一组面部标志，然后根据动作单元的出现频率从面部区域中选择5个感兴趣区域(ROI)。最后，逐帧提取光流场并计算这些ROI中的定向光流直方图特征(HOOF)。

目前起始结束帧的检测方法使用微表情序列的平均时长或者最大时长作为滑窗的大小，固定了微表情序列的时长，起始结束帧预测不灵活。基于深度学习的检测方法是对单帧进行分类，没有利用视频序列的信息，忽略了帧与帧之间的相关性。

发明内容

针对现有技术的不足，本发明提供一种基于BERT网络的微表情检测方法。

发明概述：