[发明专利]基于双流网络的面部情感识别方法、装置、介质及设备

说明书

本发明提供了一种基于双流网络的面部情感识别方法、装置、介质及设备；其中方法包括预处理工序、空间特征提取工序、时间相位差特征提取工序、特征融合工序以及时序结果判别工序；预处理工序从视频中检测以及裁剪出人脸所在区域，并抽取关键帧；空间特征提取工序通过卷积神经网络提取面部图片帧的特征向量；时间相位差特征提取工序采用方向可操纵金字塔对相邻帧提取相位差特征向量；特征融合工序将空间特征和时间特征按分配的权重整合，得到用于判别的双流特征向量；时序结果判别工序通过GRU对双流特征向量进行关联和判别，得到量化的面部情感的活跃程度和积极/消极程度。本发明面部情感识别准确率高效，具有良好的识别效果。

技术领域

本发明涉及计算机视频处理技术领域，更具体地说，涉及一种基于双流网络的面部情感识别方法、装置、介质及设备。

背景技术

近年来，随着人工智能技术的高速发展，计算机视觉技术的准确率和效率都得到了很大的提高，而面部情感识别的应用更是引起了广泛关注。常用领域有：疲劳驾驶监测、心理测评、产品测试、生活娱乐、刑事侦查、安全监控、医疗诊断、虚拟现实以及智慧教育等领域。而情感计算研究的发展以及众多情感特征的使用，令面部情感的研究更加火热，对应的成果也在逐年增加。根据相关研究者的研究表明面部情感所包含的情感信息能够达到55％，因此研究面部情感识别对于人整体的情感计算有着至关重要的意义。

在过去的长期研究中，实验室条件下的面部情感一直以来都作为研究的样本，angry(愤怒)、disgust(厌恶)、fear(害怕)、happy(开心)、netural(平静)、sad(伤心)、surprise(惊讶)这七个情感则是作为识别的标志，人们在实验室下的面部情感数据集基于这一标志做研究。但是，过于标准的环境会使得训练的判别模型鲁棒性小、可迁移性差、实用性低，对实现人类情感计算的意义较小。随着研究的深入发展和自然场景下数据集的发表，自然场景下的面部情感的识别也逐渐提上日程。自然场景下的面部情感图像与实验室条件相比存在多姿态、遮挡以及光照等问题，因此传统的手工特征的方法和浅层卷积神经网络的方法难以在自然场景下的情感数据集上取得较好的识别准确率。此外，由于情感是人脸肌肉的运动组合而来，其特征相对于其它图像更加细微，同一种类别的情感也会存在较大的差异，且不同情感之间往往是局部的特征变化，而这些微情感的变化对面部情感识别起到关键性的作用。为了利用介于1/25到1/3秒之间(大约2-10帧)的微情感信息，对视频中的微情感识别成为现在情感识别发展的重要方向。此外，尽管七种基本情感系统已在多种情感识别系统中非常流行，但人们仍认为该系统可能在文化上并不普遍。因此，有人提出了一个维度上连续的Arousal-Valence空间，Arousal是指情绪的活跃程度，Valence是指情绪的积极或消极程度。Arousal-Valence连续情感系统已应用于标记一系列情感数据集(例如Aff-Wild、Aff-Wild2、OMG-dataset等)。为了提高情感识别的准确率，更好地提取微情感和宏观情感的特征成了我们要实现的目标。因此，我们需要能够针对性提取微观和宏观情感并将其有机融合的模型来达到更好的情感识别的准确度。

发明内容

为克服现有技术中的缺点与不足，本发明的目的在于提供一种基于双流网络的面部情感识别方法、装置、介质及设备

为了达到上述目的，本发明通过下述技术方案予以实现：一种基于双流网络的面部情感识别方法，其特征在于：包括预处理工序、空间特征提取工序、时间相位差特征提取工序、特征融合工序以及时序结果判别工序；

所述预处理工序是指：从自然场景视频中检测并裁剪出人脸所在区域，并按照时间段抽取若干关键帧，将各个关键帧裁剪出的面部区域作为待识别的面部图片I；

所述空间特征提取工序是指：通过卷积神经网络(F_s)提取各个面部图片I的空间特征，并通过全连接层fc_s转化为特征向量f_s，公式表示为：