[发明专利]基于视频时间序列的人脸表情识别方法

权利要求书

1.一种基于视频时间序列的人脸表情识别方法，其特征在于：包括以下步骤：

步骤1：获取视频素材，对视频进行分帧处理，划分出视频中所有完整的表情动作，具体方法为：

步骤1.1：用分帧代码对拍摄到的视频进行分帧处理，保存视频的每一帧图像；

步骤1.2：划分出视频中所有的完整表情变化的图像，从正常表情开始，到表情最大化时结束，定义每n帧图像为单个表情动作的完整变化，n表示某一表情从正常到最大化的过程所占用的图像帧数，其取值根据被识别视频的清晰度确定；

步骤1.3：返回步骤1.1重复执行，直到所有视频都处理完毕；

步骤2：标定面部关键点及图像预处理；在获取分帧后的人脸图像后，先进行特征点的标定，对于所有可识别的人脸标定出m个特征点，对获得的面部特征点进行旋转、平移和缩放的坐标变换几何归一化处理；

步骤3：计算特征向量；在n帧为一组的面部特征点信息中，计算每个特征点n个坐标序列的最大值、最小值、平均值、峰度、偏度、离散傅里叶变换(Discrete Fourier Transform，DFT)峰值及其所对应频率，再使用主成分分析(Principal ComponentAnalysis，PCA)降维，去除冗余数据，作为表情的特征向量；

步骤4：对表情进行分类及识别；预先设定的表情有5类：认真、交谈、瞌睡、吃惊(恍然大悟)和笑，将这5类表情的特征向量以及与之对应的标签输入分类器中进行训练，得到训练的结果模型，分类器采用支持向量机(SupportVector Machine，SVM)或邻近算法(k-Nearest Neighbor，k-NN)；在识别时，将要识别的图像序列的特征向量与训练的结果模型输入分类器，得到识别结果。

2.根据权利要求1所述的基于视频时间序列的人脸表情识别方法，其特征在于：所述步骤2的具体方法为：

步骤2.1：使用人脸标定工具，检测出图像中的人脸，并标出m个特征点，m为人脸标定工具特定参数；

步骤2.2：将直角坐标转换为齐次坐标，定义每帧图像的特征点齐次坐标为M；

步骤2.3：旋转面部特征点，除去帧图像中人脸相对于图像坐标轴的倾斜角；

步骤2.4：将坐标原点平移到面部中心；

步骤2.5：以鼻梁左右距离L为基准值，将所有特征点的坐标除以L，对特征点坐标进行缩放，得到经过旋转、平移、缩放变换后的特征点齐次坐标M’；

步骤2.6：判断是否视频中所有图像均完成几何归一化处理，若是，则执行步骤3，若否，则返回步骤2.1重复执行，直到所有图像均被处理。

3.根据权利要求2所述的基于视频时间序列的人脸表情识别方法，其特征在于：所述步骤3中，在步骤2获得面部特征点坐标信息后，对于所有的表情素材，取每n帧为一个表情单位，随后计算每个特征点n维坐标序列的最大值、最小值、平均值、峰度、偏度、自相关性、以及DFT变换后的幅度峰值及其频率，具体方法为：

步骤3.1：人脸标定工具所标定的m个面部特征点中，除去r个定位不准确的脸部轮廓点，共m₀个可供使用的特征点，m₀＝m-r；

步骤3.2：计算m₀个可供使用的特征点中每个特征点的坐标序列中的最大值、最小值、平均值、峰度和偏度，得到m₀×2×5个特征值；

步骤3.3：对m₀个可供使用的特征点中每个特征点的坐标序列进行DFT变换，选取5个最大的傅里叶峰值及其所对应频率，获得m₀×2×5个每个点对应的傅里叶峰值和m₀×2×5个峰值所对应的频率；

步骤3.4：计算m₀个可供使用的特征点中每个特征点坐标序列的自相关性，每个特征点选用n个不重复的值作为特征向量的一部分，共有m₀×2×n维数据；

步骤3.5：在以上特征值计算后，得到特征向量的m₀×2×5×3+m₀×2×n个特征值，利用PCA函数对该特征向量进行降维；

步骤3.6：重复步骤3.1到3.5，直到计算出所有表情的特征向量。