[发明专利]一种基于深度神经网络的微表情检测方法

说明书

针对目前微表情检测准确度低、检测能力较弱的问题，本发明提出了一种基于深度神经网络的微表情检测方法，使用卷积神经网络(CNN)和门控循环单元(GRU)对经过预处理的视频序列提取动态信息，最后使用移动滑框对微表情进行检测，以此来完成精确高效的微表情检测。本发明利用两种网络各自不同的特点将两种网络相结合，取得精度更高、速度更快、误差更低的微表情检测结果。

技术领域：

本发明涉及一种基于深度神经网络的微表情检测方法。

现有技术：

微表情含有细微的痕迹流露，特征表达比较模糊，表情也被极度的弱化。由于人类生理的特点，情感是不会被思想完全控制的，因此不管人们怎样刻意掩饰，微表情都不会被完全消除，故而微表情能较为准确地反映人类的真实情感。通过高速摄像头准确捕捉快速运动的微表情，计算机科学家可利用计算机视觉技术自动分析微表情，降低微表情分析的复杂度，从而能以较低廉的成本完成大规模微表情分析任务。因此，利用计算机视觉技术自动分析微表情数据，成为情感计算领域的热点问题之一。

从早期的传统宏表情表征模型，到基于深度模型的端到端学习方法，微表情分析技术的性能得到了显著提升。利用现有宏表情变化描述特征(如LBP-TOP、MDMO等)，或者通用卷积网络(如VGGNet、ResNet等)，能较为精确地描述微表情变化规律。但是，由于面部微表情持续时间短、变化强度弱，在较长的视频序列中，如何自动提取面部微表情相关信息，仍然是微表情自动分析技术的难点。

文献“Spotting Rapid Facial Movements from Videos Using Appearance-Based Feature Difference Analysis[J].2014.”Antti Moilanen等利用三点法固定面部区域，并将面部区域分为几个感兴趣区域并提取LBP特征，通过在一定时间内对比各个区域内的特征相似性，实现自动化的面部微表情检测技术。但该技术的检测准确度仍然较低，并且当个体变化时鲁棒性较差。

发明目的：

针对目前微表情检测准确度低、检测能力较弱的问题，本发明提出了一种基于深度神经网络的微表情检测方法，使用卷积神经网络(CNN)和门控循环单元(GRU)对经过预处理的视频序列提取动态信息，最后使用移动滑框对微表情进行检测，以此来完成精确高效的微表情检测。

发明内容：

本发明主要研究了基于深度神经网络的微表情检测算法。对经过预处理的视频序列使用卷积神经网络(CNN)提取每幅图像的特征，再采用门控循环单元(GRU)对连续多个CNN提取的图像特征进行动态特征提取，最后使用移动滑框对微表情进行检测。本发明主要分为四个步骤：数据预处理、图像序列的运动特征描述、网络模型的构建和网络模型的训练与微表情检测。基于深度神经网络的微表情检测流程如图1所示。

步骤1：数据预处理

微表情数据库中的视频包含着比较丰富的元素，如背景、耳机等噪声，需要对数据库视频序列进行预处理操作。预处理的质量决定着微表情检测的效果和准确率，会对实验结果产生很大的影响。对人脸图像序列进行预处理可以减少因人脸的大小和位置等因素对人像检测所带来的影响。

1)对图像进行多尺度检测识别人脸

检测人脸时，逐步把图像长宽同时按照一定比例缩小，对应每张图，然后使用大小固定的检测窗口器开始遍历图像。逐次移动检测窗口，窗口中的特征相应也随着窗口移动，从而遍历到图像中的每一个位置，找到图像中人脸位置(x₀,y₀),(x₁,y₁)，完成人脸检测。

2)对人脸检测所得到的结果进行处理