[发明专利]基于双流网络的面部情感识别方法、装置、介质及设备

权利要求书

1.一种基于双流网络的面部情感识别方法，其特征在于：包括预处理工序、空间特征提取工序、时间相位差特征提取工序、特征融合工序以及时序结果判别工序；

所述预处理工序是指：从自然场景视频中检测并裁剪出人脸所在区域，并按照时间段抽取若干关键帧，将各个关键帧裁剪出的面部区域作为待识别的面部图片I；

所述空间特征提取工序是指：通过卷积神经网络(F_s)提取各个面部图片I的空间特征，并通过全连接层fc_s转化为特征向量f_s，公式表示为：

f_s＝fc_s(F_s(I)) (1)

所述时间相位差特征提取工序是指：采用方向可操纵金字塔P对面部图片I对应的相邻帧[I₀,I₁,...,I_N]提取用于表示微观面部情感的多尺度的相位差特征，并通过卷积层F_t和全连接层fc_t转换为特征向量f_t，公式表示为：

f_t＝fc_t(F_t(P([I₀,I₁,...,I_N]))) (2)

所述特征融合工序是指：将空间特征提取工序和时间相位差特征提取工序提取的特征向量f_s和f_t按照注意力分配的权重(α₀,α₁)整合，得到最终用来判别的双流特征向量f，用公式表示为：

α₀,α₁＝fc_α0(f_s),fc_α1(f_t) (3)

f＝(fc(concat(α₀*f_s,α₁*f_t))) (4)

所述时序结果判别工序是指：通过时序网络GRU对时间范围内多帧面部图片I对应的双流特征向量f进行关联和判别，识别宏观面部情感，最终得到每帧面部图片I量化的面部情感的活跃程度和积极/消极程度，从而识别面部情感；

所述时序结果判别工序中，量化的面部情感的活跃程度和积极/消极程度是通过将时间范围内多帧图片I对应的双流特征向量f输入时序网络GRU，时序网络GRU通过更新门和重置门更新时序状态关联，时序网络GRU输出门输出判别结果来实现的。

2.根据权利要求1所述的基于双流网络的面部情感识别方法，其特征在于：所述预处理工序中，采用OpenFace对自然场景视频分帧，并检测以及裁剪出人脸所在区域，并通过TSN思想以间隔M帧来抽取关键帧。

3.根据权利要求1所述的基于双流网络的面部情感识别方法，其特征在于：所述空间特征提取工序中，采用基于ResNet50的卷积神经网络提取图形特征，之后通过全连接层fc_s、批归一化和激活层构成的MLP结构提取特征向量f_s。

4.根据权利要求1所述的基于双流网络的面部情感识别方法，其特征在于：所述时间相位差特征提取工序中，对空间面部图片对应的相邻帧[I₀,I₁,...,I_N]进行2D傅里叶变换处理，然后采用方向可操纵金字塔P滤波和逆傅里叶变换提取得到相邻帧[I₀,I₁,...,I_N]相位特征，之后通过帧间相减得到相位差特征，并通过减去平均值以修正刚性运动造成的误差。