[发明专利]一种形状自适应分类的特征点检测方法

说明书

本发明提出了一种形状自适应分类的特征点检测方法。首先该发明使用了多视角模型，对不同的人脸姿态进行相应的处理，在基于级联回归的多视角模型训练和测试过程中，使用姿态分类算法对不同的人脸样本进行分类。其次，在测试过程中，根据级联回归算法的特性，采用了动态人脸姿态分类的方法，逐步提高分类的准确性，从而提高人脸特征点定位算法的精度。同时，为了进一步减少特征点定位的误差，本发明使用了多个多视角模型集成策略，在测试过程中，多个多视角模型同时用于预测特征点位置。试验证明，与传统方法比较，本发明对非限制环境下人脸表观变化有更好的鲁棒性。

技术领域

本发明涉及形状自适应分类的人脸特征点检测方法，属于人脸识别领域。

背景技术

人脸特征点定位技术是人类视觉系统的一个基础功能，它在人脸算法中扮演了重要的角色。不仅仅是因为他可以帮助我们加深对人类视觉系统的认知，同时它还具有巨大的商业潜力。在过去的十几年里，对于数字图像和视频中的人脸特征点定位方法有了极大的发展，尤其是在受控制的环境中。许多公开的和商业的人脸特征点定位算法已经获得很好的研究成果，并且广泛的使用在实际的应用方案中。例如视频监控，来访监控，信息取证，基于网络的社会关系网，人机交互，动画和3D建模。

最近几年中，随着便携式摄像和视频设备的发展，人脸特征点定位算法的发展趋势开始转向非受控的环境中。为了能够使人脸特征点定位算法适应现有的图像拍摄环境，急需一种能够对非限制环境下人脸图片鲁棒的特征点定位算法。然而人脸特征点算法的发展面临极大的挑战。由于人脸表情的丰富变化，尤其是在非受控制的环境下，会出现大量不同的人脸姿势，表情，明暗度，和局部遮挡。以上这些情况对人脸特征点算法的精度都有着极大的影响。所以需要一种能够适用于多种环境，多表情，多姿态的人脸特征点算法，来提高现有算法的鲁棒性和效率。

假设一个人脸形状包括N_fp个人脸特征点。当给出一个新的人脸图片后，算法非主要目标是预测出形状S，使得预测形状尽可能的接近真实形状等价于最小化以下公式：

该算法误差公式通常被用于指导训练过程和评估最终的实验结果。但是在测试阶段，我们不能直接最小化该公式。因为在测试的时候真实形状是未知的。根据预测形状S所使用的方法，大多数的算法可以分为以下两种方法：基于最优化方法和基于回归的方法。

基于优化的方法的好坏主要依赖于误差方程的好坏。该方法主要包含以下两种算法：AAM和ASM。这两种方法主要使用最小化纹理残余的途径来预测人脸特征点形状。由于该方法训练出来的模型受到表现力的限制，所以当图像中的人脸姿态发生较大的变化时，该算法的定位结果将不是很准确。

基于回归的人脸特征点检测方法在最近得到了快速的发展。该算法模型主要包含两部分：特征抽取和回归器。首先在每个级联步骤中，从已经预测的形状周围抽取特征值。根据已学习到的回归矩阵，逐步更新现有形状的，使其一步步接近真实形状。经过几步运算之后，预测误差会收敛到一个绝对小的值。基于回归的方法之所以能够得到发展，是因为该方法具有很高的效率和精度。同时其中将弱回归器级联组成强回归器也是其成功的原因之一。和AAM和ASM方法相比，基于回归的方法具有更快的速度和精度。

尽管在大多数情况下，基于回归的方法都相对较快，并且精确度也比较高。例如Cao提出的ESR方法，3000fps方法。可是特征点检测仍然面对许多挑战。例如人脸大姿态偏转，局部遮挡，明暗度的变化。由于当前多数照片的拍摄环境大多是不可控制的，当图片中的人脸产生左右偏转，或者是表情的变化，单一的模型不能很好的处理这些变化。所以需要使用不同的模型，来对应不同的人脸形态变化。这样，在不同的情况下使用不同的模型，不仅能够提升算法的效果，也不会影响算法的运算速度。