[发明专利]一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置

说明书

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置。

背景技术

目前，在人脸检测与定位技术中，大抵分为基于器官的检测与定位方法和基于模板的检测与定位方法等。基于器官的方法将人脸视为显著器官的组合，首先提取一些重要的器官：眼、鼻、唇等，然后通过器官的位置和它们之间的几何关系来检测人脸。人脸关键器官定位的性能很大程度上影响着人脸检测方法的精度。

传统的基于主动外貌模型(AAM，Active Appearance Models)、主动形状模型(ASM，Active Shape Models)等方法，一般采用训练模型实现面部器官轮廓点的定位。这些方法在全局意义上获取人脸关键器官外轮廓特征点的位置。根据实验结果，这些方法非常依赖训练模型的初值，很难获取某些夸张表情下的人脸关键器官的外轮廓，例如，此类方法无法定位张大嘴巴的轮廓、紧闭眼睛的轮廓等，这对三维人脸合成技术来说是个很严重的缺陷。

申请人在之前已提出了一系列与人脸检测技术相关的专利申请，其中，中国专利申请号为200710304688.2的专利申请方案中，公开了一种人脸作出各种表情时仍可获取眼睛与嘴巴角点的准确位置的技术实施方案，从而改善现有的人脸面部关键特征点的定位与跟踪技术的性能。

但是，上述的专利申请中的方法无法准确定位人脸眼睛、眉毛和嘴巴的外轮廓，同样无法准确的跟踪这些人脸面部关键器官的外轮廓点，因此，将其应用于二维与三维人脸姿态估算、人脸动画合成时，存在一定的局限性。

发明内容

本发明实施例提供一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置，用以实现人脸眼睛外轮廓、眉毛外轮廓和嘴巴外轮廓的实时定位与跟踪，从而改善现有的人脸关键器官外轮廓定位与跟踪技术的性能。

一种人脸关键器官外轮廓特征点的定位方法之一，包括：

获取输入人脸图像帧人脸眼角点位置；

确定出眼睛的中轴线；

根据眼睛外轮廓点边界强度大小，在所述中轴线上确定多个上下眼皮外轮廓特征点的侯选点，并选取上眼皮外轮廓特征点的侯选点与下眼皮外轮廓特征点的侯选点组成多对侯选点对；

分别根据所述眼角点和每对侯选点对，利用抛物线模型拟合出眼睛的外轮廓线，在所述外轮廓线上选取外轮廓点，计算所选外轮廓点的边界强度之和，得到与每对侯选点对对应的和值；或者还计算每对候选点对之间各像素点灰度的均值，用所述和值减去所述均值，得到与每对侯选点对对应的差值；将最大和值对应的侯选点对作为人脸眼睛外轮廓特征点；或者将最大差值对应的侯选点对作为人脸眼睛外轮廓特征点。

一种人脸关键器官外轮廓特征点的定位方法之一，包括：

获取输入人脸图像帧人脸嘴角点位置；

确定出嘴巴的中轴线；

根据嘴巴外轮廓点边界强度大小，在所述中轴线上确定多个上下嘴唇外轮廓特征点的侯选点，并选取上嘴唇外轮廓特征点的侯选点与下嘴唇外轮廓特征点的侯选点组成多对侯选点对；

分别根据所述嘴角点和每对侯选点对，利用抛物线模型拟合出嘴巴的外轮廓线，在所述外轮廓线上选取外轮廓点，计算所选外轮廓点的边界强度之和，得到与每对侯选点对对应的和值；或者还计算所选外轮廓点周围位于嘴巴外轮廓线外侧像素点的色度值与标准肤色的第一差值，以及计算所选外轮廓点周围位于嘴巴外轮廓线内侧像素点的色度值与嘴唇标准红色之间的第二差值，用所述和值减去所述第一差值的绝对值和所述第二差值的绝对值，得到与每对侯选点对对应的差值；将最大和值对应的侯选点对作为人脸嘴巴外轮廓特征点；或者将最大差值对应的侯选点对作为人脸嘴巴外轮廓特征点。所述方法，还包括：

根据所述嘴角点和定位的嘴巴外轮廓特征点，利用抛物线模型拟合出嘴巴的外轮廓线，在所述外轮廓线上选取外轮廓点作为人脸嘴巴外轮廓的其余特征点。

一种人脸关键器官外轮廓特征点的跟踪方法，包括：

确定出人脸关键器官外轮廓的特征点；

获取人脸关键器官外轮廓特征点的跟踪点；

用所述特征点矫正所述跟踪点。

一种人脸关键器官外轮廓特征点的定位装置之一，包括：

获取单元，用于获取输入人脸图像帧人脸眼角点位置；

中轴线确定单元，用于确定出眼睛的中轴线；

第一侯选点确定单元，用于根据眼睛外轮廓点边界强度大小，在所述中轴线上确定多个上下眼皮外轮廓特征点的侯选点，并选取上眼皮外轮廓侯选点与下眼皮外轮廓侯选点组成多对侯选点对；