[发明专利]一种基于BERT网络的微表情检测方法

权利要求书

1.一种基于BERT网络微表情检测方法，其特征在于，包括步骤如下：

A、对微表情视频进行预处理，包括获取视频帧序列、人脸检测与定位、人脸对齐以及提取光流序列特征；

B、对步骤A中的光流序列，将其划分为训练集和测试集，通过滑窗将光流序列划分为若干个小尺寸的候选微表情片段，计算每个候选微表情片段的交并比IoU作为该片段的标记值；

C、构建时空特征提取模型，

所述时空特征提取模型包括三维卷积神经网络和BERT网络，所述三维卷积神经网络提取候选微表情片段的每一个时隙内的特征，所述BERT网络提取候选微表情片段的不同时隙间的特征，并形成该候选微表情片段最终的特征表达；

D、训练时空特征提取模型；

E、根据训练好的时空特征提取模型，评估测试集候选微表情片段的交并比IoU，IoU称为微表情分数，IoU的取值范围为[0,1]，IoU是指候选微表情片段处于微表情的概率；

F、将具有高IoU值的连续候选微表情片段分组合并，并对重叠片段进行抑制，形成最终的微表情检测结果；

步骤C中,所述时空特征提取模型包括10层三维卷积残差网络3D ResNet和BERT网络；

将微表情候选片段分成t个时隙，使用10层三维卷积残差网络3D ResNet提取时隙的时间和空间特征；

之后将每个时隙内的特征向量即提取到的时隙的时间和空间特征输入到BERT网络中，BERT网络自动学习位置编码，进行分类任务时，添加额外的嵌入向量x_cls，x_cls是标记位，表示接下来的位置是时序序列的起始序列，同时，输出BERT模型最左边[CLS]特殊符号的向量C，之后接全连接层，最终输出预测标签

BERT网络形式如式(3)所示：

式(3)中，x_i是由三维卷积残差网络3D ResNet提取的时间和空间特征及其位置编码组成的嵌入向量，x_j表示第j个时隙的嵌入向量；i表示时序位置索引，j表示所有可能的组合，N(x)是归一化项，x是所有的时隙的集合，函数g(·)、θ(·)和φ(·)是BERT网络的自注意力机制内的线性映射，函数f(x_i,x_j)表示x_i和x_j之间的相似性：f(x_i,x_j)＝softmax(θ(x_i)^Tφ(x_j))；学习函数g(·)、θ(·)和φ(·)函数的输出分别定义为值向量、查询向量和键，PFFN(·)表示前项反馈网络；

则关于y_cls的显示形式如式(4)所示：

2.根据权利要求1所述的一种基于BERT网络微表情检测方法，其特征在于，步骤A中，对微表情视频进行预处理，包括步骤如下：

1)获取视频帧：对包含微表情的视频进行分帧处理，得到视频帧序列并存储；

2)人脸检测与定位：利用Dlib视觉库对视频帧序列进行人脸检测和定位，给出所检测的视频帧中人脸数目和人脸距图像边界距离；

3)人脸对齐：利用Dlib视觉库确定面部68个关键特征点，完成人脸分割并实现人脸矫正；

人脸分割是指：Dlib视觉库使用矩形框分割人脸；

人脸矫正是指：在检测出的面部68个关键特征点中，标注左眼左眼角的关键特征点37和标注右眼右眼角的关键特征点46的连线与水平线存在角度a，通过该角度a得到对应的旋转矩阵，对分割出的人脸进行旋转变换，使标注左眼左眼角的关键特征点37和标注右眼右眼角的关键特征点46的连线与水平线平行，实现人脸姿态的矫正；并将人脸进行缩放；

4)光流序列特征提取：利用Farneback光流算法提取对齐后的微表情特征，并保存为光流序列。