[发明专利]基于面部关键点轨迹特征图的视频情感识别方法

说明书

本发明公开了一种基于面部关键点轨迹特征图的视频情感识别方法，包括以下步骤：步骤1，对视频序列中的视频帧图像进行处理，并获得一组面部关键点坐标；步骤2，计算步骤1得到的这一组面部关键点坐标之间的相对距离在相邻视频帧上的变化值矩阵，将关键点轨迹特征编码成面部关键点轨迹特征图；步骤3，将视频序列对应的一系列面部关键点轨迹特征图送入CNN‑LSTM深度时空网络中进行情感识别任务。本发明将关键点轨迹特征编码成面部关键点轨迹特征图输入CNN‑LSTM深度时空网络用于视频情感识别，在RAVDESS数据集上验证所述发明取得了较高的水平。

技术领域

本发明属于多媒体信号处理领域，涉及一种基于面部关键点轨迹特征图的视频情感识别方法。

背景技术

视频情感识别技术在各种智能系统中的应用具有很大的潜力，包括数字广告业务，在线游戏，客户反馈评估，医疗行业等。

早期的视频情感识别分类器主要是基于从静态面部图像中提取的手工浅层特征。面部特征可以从整个面部区域或特定的局部区域中提取，并分为两类：基于几何形状或基于外观。基于几何形状的特征表示考虑形状信息(如面部点或眉毛、眼睛、嘴、鼻子的位置)，而忽略面部的纹理。值得注意的是，这种特征表示易受光照变化影响。大多基于几何特征的方法通过主动外观模型跟踪一组面部关键点。另一方面，基于外观的特征表示利用强度值或像素值来表示面部的纹理变化，例如皱纹和条纹。基于外观的经典特征有尺度不变特征变换(SIFT)、局部二值模式(LBP)、梯度直方图(HOG)、Gabor小波表示。主成分分析(PCA)技术被广泛用于特征降维，并在表情识别中取得了很好的成绩。

2002年自动表情识别领域的相关研究发现CNN对人脸位置变化和尺度变化具有鲁棒性，并且在出现之前未见的人脸姿态变化的情况时CNN的表现超过多层感知机(MLP)。利用CNN可以解决人脸表情识别中的主体独立性、平移、旋转、尺度不变性等问题。基于CNN的基础架构，一些变型也被应用于解决表情识别的问题，包括AlexNET、深度卷积神经网络(DCNN)、残差神经网络(Resnet)、Inception和双通道CNN，一个通道是标准CNN网络，另一个通道被训练为卷积自编码器。在视频中帧和帧之间有上下文关联性，增加了比单纯的图像更多的时间信息。Donahue等人于2018年通过将CNN中学习到的视觉特征表示和LSTM的可变长输入输出优势相结合，创造了一种时间和空间上的深度模型，该模型将CNN的输出作为LSTM网络的输入，用于设计时变输入和输出的各种视觉任务中，许多类似的级联网络被陆续提出。

2015年Jung等人提出了人脸关键点轨迹，然而当前的人脸关键点轨迹特征的使用方法存在不足，直接使用了没有归一化的关键点坐标，或者将一组特征点坐标拼接成一维特征向量送入浅层的分类网络中。这样做的不足在于人脸的关键点运动不仅仅受到面部表情的驱动，头部的姿态变化和运动同样会导致面部关键点发生位移。即使面部关键点位置进行了归一化处理，但是侧脸、低头、抬头等动作都能引发面部关键点的位移，真正有意义的是这些点之间的相对距离变化。此外，浅层分类网络的性能也很难让人满意。

发明内容

本发明的目的是提供一种基于面部关键点轨迹特征图的视频情感识别方法，以缓解现有的人脸关键点轨迹特征的使用不充分的问题。

为实现上述目的，本发明采用的技术方案为：

一种基于面部关键点轨迹特征图的视频情感识别方法，包括以下步骤：

步骤1，对视频序列中的视频帧图像进行处理，并获得一组面部关键点坐标；

步骤2，计算步骤1得到的这一组面部关键点坐标之间的相对距离在相邻视频帧上的变化值矩阵，将面部关键点轨迹特征编码，得到面部关键点轨迹特征图；

步骤3，将视频序列对应的一系列面部关键点轨迹特征图送入CNN-LSTM深度时空网络中进行情感识别任务。

进一步的，所述步骤1包括：