[发明专利]一种基于深度神经网络的微表情检测方法

权利要求书

1.本发明提出了一种基于深度神经网络的微表情检测方法，其特征主要分为四个部分：数据预处理、图像序列的运动特征描述、网络模型的构建和网络模型的训练与微表情检测；

(1)数据预处理

本发明对将要输入深度神经网络的数据进行预处理，减少因人脸的大小和位置等因素对人像检测所带来的影响，包含三步：对图像进行多尺度检测识别人脸、对人脸检测所得到的结果进行处理、对视频序列进行统一切割处理；将每段视频的第一帧图像作为参考帧，以长视频的第一幅人脸图像为模型脸，获取模型脸的切割矩阵，切割矩阵用来对视频序列剩余图像进行切割，从而完成数据预处理；

(2)图像序列的运动特征描述

通过光流法，提取视频序列的运动特征，光流场是一个二维矢量场，它反映了图像上每一点灰度的变化趋势；算法假设物体上同一个点在图像中的灰度是不变的，即使物体发生了运动，即：

I(x,y,t)＝I(x+Δx,y+Δy,t+Δt) (1)

在t时刻，像素点(x,y)处灰度值为I(x,y,t)；在(t+Δt)，该点运动到新的位置，它在图像上的位置变为(x+Δx,y+Δy)，灰度值记为I(x+Δx,y+Δy)；

设u和v分别为该点的光流矢量沿x和y方向的两个分量：

将式(1)右边用泰勒公式展开，忽略二次及以上的高次项，且视频序列中Δt→0，于是有：

I_xu+I_yv+I_t＝0 (3)

式(3)是光流基本等式，设I_x,I_y和I_t分别为参考点像素的灰度值沿x,y,t这三个方向的偏导数；在求解光流(u,v)时，要求光流本身尽可能地平滑，即引入对光流的整体平滑性约束求解光流方程病态问题；对u,v的附加条件如下：

式中是u的拉普拉斯算子，是v的拉普拉斯算子，综合式(3)和式(4)，算法将光流u,v计算归结为如下问题：

因而，可以得到其相应的欧拉-拉格朗日方程，并利用高斯-塞德尔方法进行求解，得到图像每个次置第一次至第(n+1)次迭代估计(uⁿ⁺¹,vⁿ⁺¹)为：

经过迭代计算便得到最终光流场，对视频序列每帧图像都提取光流特征，得到整个光流特征序列；

对光流特征序列归一化处理，视频中相邻两帧的时间间隔很短，两帧中的内容变化较小，因此，可以将两帧中内容的变化看作线性运动；求出该线性运动的运动轨迹，就能根据该运动轨迹和输入输出帧的时间关系进行内容位置的调整；前后两幅图像的像素值大小以及时间为(B₁,t₁),(B₂,t₂)，使用公式(8)得到中间帧即输出帧为(B,t)；

(3)网络模型的构建

本发明提出一个卷积神经网络与门控循环单元相结合检测微表情的网络模型；门控循环单元(GRU)是RNN网络的一种，能够描绘连续时间内特征的变化；而卷积神经网络(CNN)则能够提取单帧图像的特征，两者结合则能发挥每个网络的优势；具体结合方式为n幅图像经过CNN后，首先输入到第一层GRU中得到输出，该输出作为另外两层GRU的输入，其中一层GRU负责检测出目标的置信度，另外一层GRU负责检测及预测微表情的位置；

(4)网络模型的训练与微表情检测

在视频序列中寻找一段含有微表情的视频段，将待检测视频均分为n段，利用每一段去检测并预测微表情位置以及长度，预测输出即为公式(10)所示：

其中，C为结果的置信概率，x₁,x₂为视频序列中微表情起始与终止坐标预测结果，构建损失函数，损失函数由分类、回归两部分组成；

分类部分GRU1的损失函数为CrossEntropy，其计算公式为：

回归部分GRU2的损失函数为MSE损失，其计算公式为：

每次检测过程中，待检测视频段被均分为n段，如果微表情段的中心点落到这个视频段内，这个视频段会负责预测微表情的发生位置以及它的置信度，待检测视频中置信度最大的视频段所预测的微表情区间为被检测视频的预测结果；

训练结束后在微表情预测区间内的视频段中的每一帧都被标记为微表情帧，其余视频段中都被标记为非微表情帧。