[发明专利]一种基于面部显著特征的情感分析方法

说明书

本发明公开的一种基于面部显著特征的情感分析方法，包括输入图像，消除图像中头部倾斜，得到对齐后的面部图像；提取对齐后的面部图像的面部显著区域特征；随后融合以及选择，剔除情感无关因素的影响，筛选情感特征；将最后送入SVR训练并预测。本发明情感分析方法提取对光照和旋转具有鲁棒性的ULBP特征；采用显著性堆叠降噪自编码网络，对ULBP特征选择降维，挑选出对情感具有判别力的特征；采用SVR训练，预测连续的情感标签；不但同时兼具了面部判别块和面部特征点的优势，同时进行选择降维，保留情感相关特征，剔除了原特征中存在的冗余信息，最终采用连续维度描述，全面的对面部情感信息进行分析。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于面部显著特征的情感分析方法。

背景技术

近年来，随着人工智能的兴起，人机交互方式由命令和界面交互逐步进入到情感交互时代，而计算机感知人类情感的方式主要有三种：声音、文字以及视觉图像。研究表明：视觉图像能传达出55％的情感信息，表达情感的图像又包括肢体动作、姿态以及面部图像等。其中面部图像能直观的、真实的反应出人的情感状态，相比于声音和文字，面部图像传达出来的情感更真实可靠。

目前，大量的面部情感分析工作集中在基于类别的情感描述方法研究，即通过对人脸图像的情感特征提取、处理，最终将人脸的情感类型作为结果进行输出，但其忽略了自然条件下人脸表情具有自发性、不确定性，很难用离散的情感类别将所有面部情感进行区分，一定程度上制约了情感分析的实际应用。

同时，面部情感特征通常都具有高维性，且容易受到非情感因素的影响，直接将原始的情感特征用于情感分析，会导致训练模型耗时长，模型泛化能力差。现有的情感分析方法缺乏一种有效的模型区分所提取特征中的情感相关及情感无关特征，并对其进行选择，使得所提取的具有很大的冗余性，降低了情感识别方法的性能。

发明内容

本发明的目的是提供一种基于面部显著特征的情感分析方法，解决了现有面部情感分析方法中，训练模型耗时长、模型泛化能力差、高维情感特征中存在大量冗余信息的问题。

本发明所采用的技术方案是，一种基于面部显著特征的情感分析方法，包括以下步骤：

步骤1，输入待对齐图像和对应的标准正面图像，对图像进行预处理，消除图像中头部倾斜，得到对齐后的面部图像；

步骤2，提取步骤1中对齐后的面部图像的面部显著区域特征；

步骤3，对步骤2得到的面部显著区域特征进行融合以及选择，剔除情感无关因素的影响，筛选情感特征；

步骤4，将步骤3筛选的情感特征送入SVR模型训练，并预测连续的情感标签。

本发明的特征还在于，

步骤1具体为：

步骤1.1，对于待对齐图像，使用Dlib库中自带的决策树人脸特征点检测算法确定面部特征点位置，共68个特征点，坐标为(lx_j,ly_j),(j＝1,2,...,68)，选择眉、眼、耳、鼻、口五官周围的人脸特征点作为对齐点，记为面部特征点集合[(lx₁,ly₁),(lx₂,ly₂),...,(lx_n,ly_n)]；

针对标准正面图像，检测五官对应的正面人脸面部特征点，记作标准面部特征点集合[(x₁',y₁'),(x₂',y₂'),...,(x_n',y_n')]；