[发明专利]基于视频时间序列的人脸表情识别方法

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于视频时间序列的人脸表情识别方法。

背景技术

大规模在线开放课程(Massive Open Online Course，简称MOOC)是2012年之后迅速兴起的一种课程形式，在全球范围内获了政府、高校和企业的高度重视，成为推动“高等教育变革”的重要力量。由于传统面授课程无法解决规模教学问题，碎片化的教学视频录像和交互式练习等技术被引入到MOOC中，其充分利用视频传播的快速和便捷性特点，实现讲授过程的大规模传播，并针对视频单向传播带来的教学反馈不足问题，引入交互式练习。但是交互式练习所提供的教学反馈能力，与传统线下面授过程相比，仍显不足。在传统的线下课程，讲者可以通过学生的面部表情和直接问答，获得反馈，从而可以做出即时的教学改进。当前的MOOC课程，还无法做到这一点。

1971年，Ekman为表情识别定义了6种基本表情：高兴，悲伤，愤怒，恐惧，惊讶，厌恶，并于1978年开发了著名的面部行为编码系统(Facs)。目前的大部分表情识别算法均围绕着此6种表情模式加以展开和优化。而在MOOC课程应用上，许多表情状态在传统的6种表情模式之外，例如瞌睡，交谈等，使用现有的诸多表情识别算法于MOOC课程中，会遗漏某些听课状态的识别。通过摄像设备获得面部表情的动态影像，不同于静态表情照片，其表情具有动态变化和连续性特点，需要设计快速且准确的动态表情识别算法。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于视频时间序列的人脸表情识别方法，针对MOOC的5种表情，即吃惊(恍然大悟)、认真、瞌睡、交谈、笑，基于视频时间序列进行识别，识别率高，能有效解决MOOC的互动问题，对于课堂上的教学反馈实用性高。

为解决上述技术问题，本发明所采取的技术方案是：

一种基于视频时间序列的人脸表情识别方法，包括以下步骤：

步骤1：获取视频素材，对视频进行分帧处理，划分出视频中所有完整的表情动作，具体方法为：

步骤1.1：用分帧代码对拍摄到的视频进行分帧处理，保存视频的每一帧图像；

步骤1.2：划分出视频中所有的完整表情变化的图像，从正常表情开始，到表情最大化时结束，定义每n帧图像为单个表情动作的完整变化，n表示某一表情从正常到最大化的过程所占用的图像帧数，其取值根据被识别视频的清晰度确定；

步骤1.3：返回步骤1.1重复执行，直到所有视频都处理完毕；

步骤2：标定面部关键点及图像预处理；在获取分帧后的人脸图像后，先进行特征点的标定，对于所有可识别的人脸标定出m个特征点，对获得的面部特征点进行旋转、平移和缩放的坐标变换几何归一化处理；

步骤3：计算特征向量；在n帧为一组的面部特征点信息中，计算每个特征点n个坐标序列的最大值、最小值、平均值、峰度、偏度、离散傅里叶变换(Discrete Fourier Transform，DFT)峰值及其所对应频率，再使用主成分分析(Principal Component Analysis，PCA)降维，去除冗余数据，作为表情的特征向量；

步骤4：对表情进行分类及识别；预先设定的表情有5类：认真、交谈、瞌睡、吃惊(恍然大悟)和笑，将这5类表情的特征向量以及与之对应的标签输入分类器中进行训练，得到训练的结果模型，分类器采用支持向量机(Support Vector Machine，SVM)或邻近算法(k-Nearest Neighbor，k-NN)；在识别时，将要识别的图像序列的特征向量与训练的结果模型输入分类器，得到识别结果。

进一步地，所述步骤2的具体方法为：

步骤2.1：使用人脸标定工具，检测出图像中的人脸，并标出m个特征点，m为人脸标定工具特定参数；

步骤2.2：将直角坐标转换为齐次坐标，定义每帧图像的特征点齐次坐标为M；

步骤2.3：旋转面部特征点，除去帧图像中人脸相对于图像坐标轴的倾斜角；

步骤2.4：将坐标原点平移到面部中心；

步骤2.5：以鼻梁左右距离L为基准值，将所有特征点的坐标除以L，对特征点坐标进行缩放，得到经过旋转、平移、缩放变换后的特征点齐次坐标M’；

步骤2.6：判断是否视频中所有图像均完成几何归一化处理，若是，则执行步骤3，若否，则返回步骤2.1重复执行，直到所有图像均被处理。