[发明专利]一种基于半监督学习的多姿态人脸表情识别方法

说明书

技术领域

本发明涉及一种基于半监督学习的多姿态条件下的人脸表情识别方法。

背景技术

人脸表情识别是人机交互与情感计算研究的重要组成部分。在表情识别中，标记图像的数量是非常重要的。因为表情模型的期望误差的可靠性依赖于图像样本集合的大小，大样本才能更好地反映样本的真实分布，从而获得好的推广误差。但是表情图像的标记过程不但耗时耗力，而且极易标记错误。针对这一问题，半监督学习（Semi-Supervised Learning）算法将大量特征分布相同的未标记样本作为辅助样本参与训练，不但能够回避标记问题给表情识别带来的困扰，而且提高了分类模型的可靠度。2004年，美国惠普实验室的Cohen等人运用贝叶斯网络首次实现了半监督学习在人脸表情识别的应用。2010年，德国乌尔姆大学的Hady等人结合Tri-Class SVMs算法和协同训练方法，提出了解决人脸表情识别工作的框架。2011年，英国曼彻斯特大学的Wang等人提出了满足平滑假设、聚类假设和流形假设条件的半监督学习算法，并实现了人脸表情识别。

半监督学习假设未标记样本与标记样本具有相同的特征分布。传统的半监督人脸表情识别算法处理的都是人脸正面图像，客观上满足了假设条件。但是在实际生活中，人脸不可能一直处于正面姿态，头部偏转情况经常发生。这种姿态变化引起了人脸部位的拉伸和压缩，造成了部分人脸区域的遮挡，破环了表情的完整性。如果参与训练的未标记样本和原样本中的人脸姿态发生了变化，即使二者的表情相同，特征分布也有所不同。在这种情况下，现有的半监督学习算法可能无法有效地运用未标记样本的信息，构造出可靠的分类模型。因此多姿态条件下的半监督人脸表情识别迫切需要新的理论方法来摆脱现有的困境。

针对多姿态样本识别问题，现有算法多关注监督学习问题，通过特征提取算法的改进，提高样本识别的效果。例如：2011年华侨大学的Li等人采用了张量脸结合流形学习的方法解决多姿态条件下的人脸识别问题。2012年香港理工大学的Wang等人提出了基于正交鉴别向量的算法来克服人脸姿态变化对识别造成的干扰。中国科学院计算技术研究所的Li等人认为基于子空间的人脸表征是一个回归问题，因此采用了岭回归和线性回归的方法处理人脸的姿态变化问题。国立台湾大学的Lee等人使用嵌入式马尔科夫模型方法处理人脸不同姿态，获得了比传统的基于构件的分类器更好的识别率。但是在半监督学习方面，还缺乏一种有效的多姿态表情识别算法。

针对研究现状，迁移学习（Transfer Learning）为我们提供了可借鉴的思路，该类方法是依靠知识迁移的方式解决特征分布不同的问题。其中Dai等人提出的迁移学习自适应提升Transfer Learning Adaptive Boosting算法（简称TrAdaBoost算法）就是迁移学习中一种具有代表性的算法。一方面，TrAdaBoost算法借鉴了AdaBoost的优点，通过将多个基本分类器学习的结果以某种方式集成，来提高分类的准确度。另一方面，TrAdaBoost算法采用了知识迁移方法，按照特征分布是否一致，将训练样本分为：“与测试样本特征分布一致的样本集合”，以及“与测试样本特征分布不一致的样本集合”两部分。前者仍采用AdaBoost算法进行分类。后者通过基本分类器，判断样本是否得到正确分类。其中分类错误的样本被认为是不利于分类的部分，于是采用权重调整机制，过滤掉不利于分类的部分，提高分类模型的可靠度。最终解决了样本分类中存在的特征分布不一致的问题。

发明内容

本发明的目的在于，针对半监督学习算法缺乏对多姿态表情识别进行研究的现状，以及多姿态条件下，表情特征分布不一致造成的识别率下降、算法鲁棒性差的问题。提出了一种新的基于半监督学习的多姿态人脸表情识别算法，以实现较高的识别率和鲁棒性。

本发明是在计算机中按以下步骤仿真实现的：

步骤（1），采集样本

分别采集n个人的n张正面表情图像和n张侧面表情图像，所有表情图像及每张图像对应的样本标记构成实验样本，所述的样本标记指每个图像对应的表情类别，令n个正面图像和m个侧面图像构成训练集X，余下的n-m个侧面图像组成测试集S，其中训练集X中的部分图像有样本标记，样本标记用符号c表示，测试集S中的所有图像均有样本标记，且样本标记用符号l表示，不过测试集的样本标记，只在最后验证算法对测试集样本分类结果是否正确时使用；

步骤（2），样本预处理

处理对象是X和S内的所有图像，分为两步：

步骤（2.1），采用人工切分的方法，获取图像的人脸部分；