[发明专利]用于面部对齐的方法

说明书

一种用于面部对齐的方法通过以下处理对面部图像和一组初始地标位置进行操作：首先使初始位置全局地对齐到具有原型形状的面部的一组地标位置，以获得全局对齐参数，然后根据全局对齐参数，从图像的坐标系向原型形状的坐标系扭曲初始位置和图像，以获得扭曲后的地标位置和扭曲后的面部图像。在扭曲后的地标位置处从扭曲后的面部图像提取特征，并且向特征应用回归函数，以获得在原型形状的坐标系中的更新后的地标位置。最后，原型形状的坐标系中的更新后的地标位置扭曲到图像的坐标系，以获得更新后的地标位置。

技术领域

本发明总体涉及计算机视觉及其应用，并且更具体地涉及对齐图像中的面部。

背景技术

如领域中众所周知的，面部对齐是指确定与一组预定义面部地标对应的图像中的像素的位置。各地标与诸如鼻子的尖端、眼角、眉毛的拱以及嘴唇的弯曲部这样的特定面部特征关联。

面部对齐对于诸如面部识别、面部跟踪、面部姿态估计、面部表情分析和面部建模以及人机界面(HCI)这样的许多计算机视觉应用通常是重要的。另外，面部对齐在诸如驾驶员监测和高级驾驶员辅助系统(ADAS)这样的车辆相关用途中是有用的。面部对齐由于诸如姿态、面部表情、照明以及遮挡的因素的大变化而是难题。

面部对齐的先前方案使用诸如主动形状模型(ASM)、主动外观模型(AAM)或受约束局部模型(CLM)这样的各种方法。CLM具有对地标的位置(例如子空间形状模型)的明确联合约束，其约束地标相对于彼此的位置。基于CLM，Gauss-Newton可变形部分模型(GN-DPM)使用Gauss-Newton优化联合地拟合外观模型和全局形状模型。

近来，面部对齐中的关注点已经转移到辨别方法。这些方法的显著特征是学习明确的回归函数。回归函数基于在先前估计的面部地标位置提取的特征来更新地标位置的估计。

基于树的回归方法可以快速估计地标位置。在一个基于树的方法中，使用随机森林回归可以学习一组局部二元特征以联合地学习用于地标位置的最终估计的线性回归函数。随机森林回归在训练时构造大量决策树。另一个方法使用梯度推进树算法来学习回归树的全体。

在有监督下降法(SDM)中，回归函数的级联对利用尺度不变特征变换(SIFT)提取的特征进行操作，以迭代地更新估计地标位置。在SDM中，没有明确的面部形状约束存在于地标的位置上。这不是理想的，因为相邻面部地标的位置在回归期间会漂移散开。

此外，在SDM中，同一线性回归函数必须跨包括平面内和平面外头部旋转这两者在内的面部表情和姿态的所有可能变化上工作。这需要大的且变化的训练数据集，而且要求所学习的回归函数为通用的，从而限制了精度。

发明内容

本发明的实施方式提供了一种使用全局对齐回归来进行面部对齐的方法，即，估计图像中的面部地标的位置。该方法被称为全局对齐的有监督下降法(GA-SDM)。GA-SDM作为K个阶段的级联(还被称为迭代)来操作，其中，各阶段包括全局对齐步骤和回归函数。

方法例如使用摄像头或获得先前捕捉的图像来获取图像。对方法的输入包括一组地标位置的初始估计，被称为初始地标位置。将该一组初始地标位置全局地对齐到具有原型形状的面部的一组地标位置，以获得全局对齐参数。根据全局对齐参数，将一组初始地标位置和图像从图像的坐标系扭曲到原型形状的坐标系，以获得扭曲后的地标位置和扭曲后的面部图像。

在扭曲后的地标位置处从扭曲后的面部图像提取特征。对特征应用回归函数，以获得在原型形状的坐标系中的更新后的地标位置。然后，将原型形状的坐标系中的更新后的地标位置扭曲到图像的原始坐标系，以获得在所获取图像中的更新后的地标位置。

为了提高对齐精度，优选实施方式在各迭代处使用不同回归函数的同时将步骤重复K个迭代。