[发明专利]复杂场景中单个人脸的实时跟踪方法

说明书

技术领域

本发明涉及人机界面交互以及视频监控领域，特别是对复杂场景中单个人脸的实时追踪。具体是一种综合考虑多特征、利用新型反向投影图的连续均值漂移方法。

背景技术

在人机交互和视频监控等应用中，作为识别个人身份的显著特征之一，对人脸的检测和跟踪效果将直接关系到系统的整体性能。数十年来，已有无数学者对人脸跟踪问题作过广泛的研究和讨论，其中主要分为：基于人脸模型、基于特征匹配、基于运动信息以及基于肤色的方法。然而，由于存在诸如头部转动，光照、阴影及遮挡物等诸多因素的影响，导致实际复杂环境中的人脸跟踪向来都难以有效实现。

对现有技术性文献的查阅可知，在各种跟踪方法中，连续均值漂移算法比较令人满意。它由G.R.Bradski.在1998年Intel技术季刊上发表的一篇名为《Computer Vision Face Trackingfor Use in a Perceptual User Interface》的文章中提出并成功应用于计算机游戏人机交互界面中机器视觉对人脸运动的捕捉。文章以均值漂移算法为基础，利用搜索区域内在H色彩通道中的直方图统计计算视频序列后续各帧像素与肤色概率的相似程度，并以此为特征对人脸进行跟踪。然而，在H色彩通道对搜索区域进行直方图统计过程中易受搜索区域内背景像素的干扰，影响计算像素类肤色概率的准确度，进而不能达到良好的跟踪效果。同时，文中的初始搜索区域必须手动设定。

发明内容

本发明的目的在于克服上述已有技术的不足，提供一种复杂场景中单个人脸的实时跟踪方法，以人脸检测的二值化结果表征图像中像素类肤色的概率，并以此为特征对人脸进行跟踪。同时，利用首帧图像的人脸检测结果自动确定初始搜索区域，使算法自动运行。

为达到上述目的，本发明采用下述技术方案：

一种针对复杂场景中单个人脸的实时跟踪方法，其步骤包括：

(1)画面预处理：为减少环境光照和图像噪声的影响，本发明首先对图像实施分段灰度线形变换和高斯滤波，目的在于减少环境光照和图像噪声的干扰；

(2)利用肤色特征进行人脸检测：利用肤色在YCrCb色彩空间中的聚合性进行人脸检测，并通过形态学操作去除检测噪声；

(3)类肤色区域的消除：针对类肤色区域，结合面积域值和人脸高、宽比限制条件进一步消除，通过计算人脸区域的空间权重来确定面部区域的中心点，并以其为中心设定初始搜索区域；

(4)人脸跟踪：将人脸检测二值化结果作被跟踪特征，利用连续自适应均值偏移方法实现跟踪。

实验结果表明本方法不需人工干预即可自动对画面中的人脸进行实时跟踪，准确率可达90％以上。

以下对各步骤作进一步说明：

(1)画面预处理：包括灰度线形变换和高斯模板滤波。由于环境中复杂光照的影响，会使面部出现一些高光或昏暗的区域，而这些区域都会对肤色的判断产生影响。因此需要将画面的亮度进行线形调整，以使其达到整体均匀的效果。而由于视频捕获设备的硬件原因，难免会在图像中出现噪声，这同样会对像素类肤色区域的判断产生影响。利用高斯模板对图像进行卷积，可以在保持边缘的前提下较好地去除噪声。

(2)利用肤色特征进行人脸检测：在各种色彩空间中，YCrCb中的Cr、Cb通道内的肤色具有良好的聚合性，通过实验观测数据可得到比较理想的分割阈值，进而产生良好的肤色分割结果。同时对初始检测结果进行形态学操作，消除一些细小空洞和检测噪声。

(3)类肤色区域的消除：利用肤色信息对面部进行检测固然存在诸多优势，然而仅凭借此单一信息总会受到类肤色区域的干扰，而这些区域是无法单纯依靠形态滤波消除掉的。因为有些类肤色区域较大，需要多次腐蚀才能消除，而多次处理的同时又会导致面部区域萎缩。本方法结合人脸面积和几何特征对这类区域进一步消除。首先是当区域小于一定面积时，认为此区域不属于人脸；其次是对人脸区域长、短轴比进行限定，不在此范围内的区域都将被消除，以尽可能减少类肤色区域的影响。同时，在检测出的人脸区域内计算重心位置，并以其为中心设定初始搜索区域，使算法自动运行。

(4)人脸跟踪：以人脸检测结果作为新型反向投影图，对搜索窗口内的空间矩进行迭代，使当前搜索框中的特征趋向于目标特征的分布模式，从而指导连续均值漂移法自动调整搜索窗口的位置及长轴角度以预测出目标在下一帧中的信息，使跟踪算法持续进行，在保证良好跟踪效果的同时还兼具简单的计算量。

上述的画面预处理的具体实现方法如下：

(1)线性变换