[发明专利]基于面部关键点轨迹特征图的视频情感识别方法

权利要求书

1.一种基于面部关键点轨迹特征图的视频情感识别方法，其特征在于：包括以下步骤：

步骤1，对视频序列中的视频帧图像进行处理，并获得一组面部关键点坐标；

步骤2，计算步骤1得到的这一组面部关键点坐标之间的相对距离在相邻视频帧上的变化值矩阵，将面部关键点轨迹特征编码，得到面部关键点轨迹特征图；

步骤3，将视频序列对应的一系列面部关键点轨迹特征图送入CNN-LSTM深度时空网络中进行情感识别任务。

2.根据权利要求1所述的基于面部关键点轨迹特征图的视频情感识别方法，其特征在于：所述步骤1包括：

步骤1.1，将视频序列中的视频帧图像进行预处理，得到每帧图像；

步骤1.2，通过Dlib提供的基于集成回归树的面部关键点定位方法获取每帧图像上的面部的68个关键点坐标。

3.根据权利要求2所述的基于面部关键点轨迹特征图的视频情感识别方法，其特征在于：所述步骤1.1中，视频序列来源于RAVDESS数据集，RAVDESS数据集中的视频帧大小为1280*720，将每帧图像的大小调整到128*128。

4.根据权利要求1所述的基于面部关键点轨迹特征图的视频情感识别方法，其特征在于：所述步骤2包括：

步骤2.1，对于每一帧图像，计算68个面部关键点之间的L2范数，并进行归一化处理，得到维度为68*68的面部关键点归一化距离矩阵，对于视频序列，获得一组面部关键点归一化距离矩阵；

步骤2.2，对相邻两帧的面部关键点归一化距离矩阵逐元素做差，获得面部关键点归一化距离在相邻两帧上的差分值矩阵，作为最终的面部关键点轨迹特征图。

5.根据权利要求1所述的基于面部关键点轨迹特征图的视频情感识别方法，其特征在于：所述步骤3包括：

步骤3.1，将通过步骤2得到的一组面部关键点轨迹特征图送入深度神经网络中，从中提取抽象特征，用于生成帧级别的深度学习特征表示；

步骤3.2，将步骤3.1得到的帧级别的深度学习特征表示送入LSTM长短期记忆网络中，学习这一组面部关键点轨迹特征图之间的长期相关性，得到视频序列级的深度学习特征表示；

步骤3.3，将步骤3.2得到的视频序列级的深度学习特征表示输入到全连接网络中，然后将全连接网络连接到Softmax层，利用softmax将网络的输出压缩到0到1之间，并且输出的和为1，表征视频序列所属情感类别的概率；

步骤3.4，将步骤3.3得到的概率利用交叉熵损失函数得到网络的损失值(Loss)，通过反向误差传播算法优化网络参数；

步骤3.5，在测试过程中，将由步骤2得到的一组面部关键点轨迹特征图送入CNN-LSTM深度时空网络后，会得到视频序列对应的情感类别的概率向量，最大概率值所对应的情感类别即为视频序列的预测情感类别。

6.根据权利要求5所述的基于面部关键点轨迹特征图的视频情感识别方法，其特征在于：所述步骤3.1中，深度神经网络利用1×1，3×3，5×5的不同尺度卷积核并联，从面部关键点轨迹特征图中提取不同尺度的特征进行拼接，从而聚合高层次的全局特征和低层次的局部细节特征。

7.根据权利要求5所述的基于面部关键点轨迹特征图的视频情感识别方法，其特征在于：所述步骤3.2中，LSTM网络中，信息在LSTM节点上流动，从而对这一组帧级别的深度学习特征表示进行聚合，生成视频序列级的深度学习特征表示。