[发明专利]基于移动平台的人脸特征点定位跟踪方法

说明书

技术领域

本发明属于计算机视觉技术领域，涉及一种人脸特征点定位跟踪方法，更为具体地说，是涉及一种基于移动平台的人脸特征点定位跟踪方法。

背景技术

人脸检测、跟踪和特征点定位技术作为计算机视觉研究的关键技术，目前已广泛应用于智能监控、身份识别、表情分析等方面。人脸跟踪是指在一系列的视频流中，准确地检测、识别，并跟踪到某个特定的人脸，以此提取跟踪目标的位置、表观等参数，对目标作出分析和理解并作出相应的回应。人脸特征定位是指在人脸图像中精确定位到人的眼睛、嘴巴、鼻子等特定的面部器官，并获取其几何参数，从而为表情分析或人脸识别等研究提供准确的信息。

目前，人脸特征点的定位跟踪在计算机上已有较好的实现，实时性和准确性都很高，代表性的工作有主动形状模型(Active Shape Model，ASM)，贝叶斯切空间形状模型（Bayesian Tangent Shape Model，BTSM），主动外观模型（Active Appearance Model，AAM），受约束的局部模型（Constrained Local Model，CLM）等等。很多学者在这些算法的基础上研究了一般的人脸跟踪算法，也形成了很多改进方案。但已有的算法计算复杂度较高，需要一定的运算能力和内存空间支持，所以在计算能力和存储能力有限的移动平台上鲜有应用。

如今，在中国有几亿的智能终端（主要是手机，平板电脑）用户，智能终端逐渐成为人们的信息载体。移动平台性能也得到了大幅提升，这就为移动平台上人脸特征点实时定位跟踪提供了可能。但目前已有的人脸特征点定位跟踪算法普遍计算复杂度较高、内存消耗较大、处理速度较慢，很难直接移植到移动平台。

发明内容

为解决上述问题，本发明公开了一种改进的人脸特征点定位跟踪方法，力图在多个方面全面提升算法的性能，具体体现在特征选取，模型训练以及定位跟踪等方面做了较大改进，使算法运行效率大幅提升，并同时保证了定位跟踪的准确性，能够实现在移动平台上实时进行人脸特征点的检测定位。

本发明分为训练和匹配两个阶段，训练阶段主要学习全局形状模型，角点形状模型，眼睛形状模型，嘴唇形状模型，角点局部纹理模型，特征点局部纹理模型。匹配过程采用分层的机制，首先是在人脸检测结果的基础上利用角点局部模型，定位眼角，嘴角，这些都是易于定位的特征点，通过角点形状模型对这些点进行简单校验修正，此时可以估计出人脸姿态，接着同时分别对眼睛，嘴进行特征点迭代定位，对应的平滑过程也是局部的，上述过程是不跳帧进行的，在跟踪的过程中，对角点进行光流估计和卡尔曼滤波。人脸其余特征点正常处于保持状态，在人脸运动之后进行快速调整匹配，其中的形状投影采取加权投影的方式，权重即为特征点的迭代过程中的稳定性，以此减少迭代次数，提高准确率。

为了达到上述目的，本发明提供如下技术方案：

一种基于移动平台的人脸特征点定位跟踪方法，包括如下步骤：

（1）标注训练集上的特征点，并对特征点进行标准化处理，改变形状的姿态参数使训练集上的所有的图像的角度、大小、位置一致；

（2）采用主成分分析法建立角点形状模型、左眼形状模型、右眼形状模型、嘴唇形状模型、人脸全局形状模型；

（3）提取角点的LBP特征建立角点局部纹理模型；

（4）通过人脸图像标定点周围的灰度外观信息建立特征点局部纹理模型；

（5）使用人脸检测的方法估计人脸窗口；首先定位眼角和嘴角的六个特征点，并进行局部检验修正；其后结合边缘约束对眼睛和嘴唇进行特征点定位，眼睛和嘴唇上的特征点定位结束后进行目光估计，唇动分析，以及人脸的姿态估计；随后利用已经定位的信息估计全局人脸特征点的位置，通过局部纹理匹配规则确定每个特征点的位移，进而确定姿态和形状参数，更新姿态和形状参数，进行基于加权投影的形状迭代定位至收敛。

作为本发明的一种优选方案，所述步骤（3）具体为：首先对训练集进行人脸检测，统计六个角点的位置分布，训练角点的正负样本是角点以及周围的位置的四层LBP特征，使用线性支持向量机训练局部角点的判别模型，并对模型结果中的W进行了二值基逼近的近似。

作为本发明的一种优选方案，所述的步骤（4）具体为：建立每个点的局部纹理模型，对于每个特征点的特征提取，使用边界垂直方向的剖面，每个特征点两侧各取3个点形成灰度剖面，然后计算灰度剖面的标准化差分向量，最后计算标准化差分灰度剖面的均值，用以进行特征点的搜索。