[发明专利]基于自适应去除过渡帧深度网络的微表情检测方法

权利要求书

1.基于自适应去除过渡帧深度网络的微表情检测方法，包括网络构造、网络训练和微表情检测，其特征在于：

所述的网络构造具体是：

步骤S1：选取在ImageNet数据库上预训练好的CNN模型，保留卷积层及预训练参数；

步骤S2：在上述CNN模型后添加全连接层；

步骤S3：在全连接层后添加输出层和logistic分类器，构造完成的网络命名为MesNet网络；

所述的网络训练具体是：

步骤S1：对原始视频进行数据预处理，去除影响微表情检测的噪声干扰；

步骤S2：使用自适应去除过渡帧方法从训练集去除过渡帧；

步骤S3：将去除了过渡帧的微表情帧和中性帧样本输入MesNet网络进行训练；

所述的自适应去除过渡帧方法具体是：

步骤S1：将训练集分为自信样本和待去除过渡帧样本；

步骤S2：通过自信样本训练MesNet网络，得到微表情帧、中性帧二分类模型；

步骤S3：用二分类模型预测待去除过渡帧样本，得到每个样本属于正样本微表情帧的概率；

步骤S4：通过待去除过渡帧样本概率分布图自适应地确定筛选过渡帧的阈值，从而去除过渡帧；

所述的微表情检测具体是：

步骤S1：对测试集原始视频进行数据预处理；

步骤S2：将预处理后的样本输入训练好的MesNet网络，得到预测标签值。

2.根据权利要求1所述的基于自适应去除过渡帧深度网络的微表情检测方法，其特征在于：

网络构造阶段，使用预训练好的Inception-ResNet-V2模型为基础，添加含512个神经元的全连接层和含1个神经元的输出层，构造微表情帧和中性帧二分类网络，用于从视频中检测微表情。

3.根据权利要求1所述的基于自适应去除过渡帧深度网络的微表情检测方法，其特征在于：

网络训练阶段，原始视频的数据预处理包括人脸检测、人脸对齐和微表情区域裁剪；

所述的人脸检测是利用Dlib正向人脸检测器，提取得到人脸矩形框，使用残差神经网络人脸特征点检测模型，检测得到矩形框内的68个人脸特征点；

所述的人脸对齐是通过计算两个外眼角水平差量和垂直差量从而确定人脸偏转角度，并利用人脸偏转角度计算仿射矩阵作仿射变换，完成人脸对齐。

4.根据权利要求1所述的基于自适应去除过渡帧深度网络的微表情检测方法，其特征在于：

所述的过渡帧带有噪声标签，通过自适应去除过渡帧方法可以识别并去除过渡帧。

5.根据权利要求1所述的基于自适应去除过渡帧深度网络的微表情检测方法，其特征在于：

MesNet网络完成训练之后，将测试集样本输入，可得到每个样本属于正样本微表情帧的概率；若概率大于等于0.5，判为微表情帧，输出标签为1；若概率小于0.5，判为中性帧，输出标签为0；根据测试集真实标签和MesNet网络预测标签，做出ROC曲线图及计算AUC值；AUC值越高，MesNet网络性能越好。

6.根据权利要求1所述的基于自适应去除过渡帧深度网络的微表情检测方法，其特征在于：

微表情检测过程中，所述MesNet网络检测微表情对输入视频适用于长度为几十帧的短视频或适用于上千帧的长视频。