[发明专利]基于视频时间序列的人脸表情识别方法

摘要

本发明提供一种基于视频时间序列的人脸表情识别方法，涉及图像处理技术领域。对视频分帧后得到的图像素材进行划分，找出完整的动态表情，利用人脸标定工具提取每一组表情的面部特征点，对获得的面部特征点进行几何归一化处理，再计算每个特征点坐标序列的最大值、最小值、平均值、峰度、偏度、DFT峰值及其频率，使用PCA降维，去除冗余数据，作为表情的特征向量，最后利用SVM或k‑NN对特征向量学习并识别，得到最终的表情结果。该方法将学习者的动态表情识别引入到在线学习中，可识别学习中最常见的吃惊、认真、瞌睡、交谈、笑5种表情，识别率高，能有效解决MOOC的互动问题，对于课堂上的教学反馈实用性高。

主权项

一种基于视频时间序列的人脸表情识别方法，其特征在于：包括以下步骤：步骤1：获取视频素材，对视频进行分帧处理，划分出视频中所有完整的表情动作，具体方法为：步骤1.1：用分帧代码对拍摄到的视频进行分帧处理，保存视频的每一帧图像；步骤1.2：划分出视频中所有的完整表情变化的图像，从正常表情开始，到表情最大化时结束，定义每n帧图像为单个表情动作的完整变化，n表示某一表情从正常到最大化的过程所占用的图像帧数，其取值根据被识别视频的清晰度确定；步骤1.3：返回步骤1.1重复执行，直到所有视频都处理完毕；步骤2：标定面部关键点及图像预处理；在获取分帧后的人脸图像后，先进行特征点的标定，对于所有可识别的人脸标定出m个特征点，对获得的面部特征点进行旋转、平移和缩放的坐标变换几何归一化处理；步骤3：计算特征向量；在n帧为一组的面部特征点信息中，计算每个特征点n个坐标序列的最大值、最小值、平均值、峰度、偏度、离散傅里叶变换(Discrete Fourier Transform，DFT)峰值及其所对应频率，再使用主成分分析(Principal ComponentAnalysis，PCA)降维，去除冗余数据，作为表情的特征向量；步骤4：对表情进行分类及识别；预先设定的表情有5类：认真、交谈、瞌睡、吃惊(恍然大悟)和笑，将这5类表情的特征向量以及与之对应的标签输入分类器中进行训练，得到训练的结果模型，分类器采用支持向量机(SupportVector Machine，SVM)或邻近算法(k‑Nearest Neighbor，k‑NN)；在识别时，将要识别的图像序列的特征向量与训练的结果模型输入分类器，得到识别结果。