[发明专利]用于跟踪人脸的设备和方法

说明书

提供一种用于跟踪人脸的设备和方法，所述设备包括：人脸位置确定单元，用于从当前帧图像确定人脸位置；分割单元，用于将人脸位置的图像分割成组成人脸的各部分图像；遮挡估计单元，用于基于遮挡概率模型来估计分割后的各部分图像被遮挡的概率，并基于所述各部分图像被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率；关键点获取单元，用于通过最小化与每个像素被遮挡的概率有关的匹配误差函数，使人脸的二维形状模型相对于人脸形状进行匹配，从而获取当前帧图像上人脸关键点的位置，以完成对人脸的跟踪。

技术领域

本发明涉及针对人脸以及人脸上关键点进行跟踪的设备和方法。

背景技术

对图像或视频中的人脸以及人脸上关键点的位置进行跟踪，在很多以人脸图像或视频作为输入的应用中具有十分重要的作用，这里，所述关键点可以是诸如眼睛、鼻子、眉毛、嘴等处于人脸关键位置的点。例如，在基于视频的人脸识别系统中，需要使用每帧图像上的人脸关键点位置对待匹配的人脸图像进行几何归一化。在面部动作和表情捕捉系统中，需要根据人脸关键点的位置分析面部器官的形状和运动。在一些三维人脸建模系统中，也需要根据人脸关键点的位置信息对不同姿态的人脸图像进行配准和融合。

对于一般物体的跟踪，常常使用基于特征点或特征区域匹配的技术。首先，从当前帧图像中选择或者检测到若干特征点或者特征区域，记录特征点周围或者特征区域内的像素颜色值，对这些像素颜色值进行变换来得到用于表示特征点或特征区域的特征向量。然后，从下一帧图像中以同样的方法选择或者检测特征点或者特征区域并计算特征向量。最后，根据特征向量间的相似性对来自两帧图像的特征点或者特征区域进行匹配，从而估计出物体在视频中的运动。或者，在对当前帧中的特征点或特征区域提取特征向量之后，直接在下一帧图像的感兴趣区域内搜索具有最相似特征向量的特征点或特征区域，从而实现运动跟踪。或者，用于表示特征点或特征区域的特征向量不是从当前帧图像中获得，而是从手工标定的样本图像中获得。

人脸关键点跟踪与一般物体跟踪存在两点明显的区别。第一，人脸是一个非刚性物体，除了具有在空间中运动时产生的平移、旋转等六个自由度外，还会由于表情的变化产生各种复杂的变形。第二，人脸具有相似性，也就是说，所有自动人脸跟踪系统所需要处理的人脸对象都具有相似但不完全一样的形状和纹理。基于以上两点，大部分人脸跟踪系统都会使用可以描述人脸相似性，同时可以适应不同人脸个性的模型，这些模型可以表示为一组感兴趣的关键点。例如，在基于主动表观模型的跟踪方法中，需要对人脸的形状和面部纹理建立参数模型，人脸形状用一系列关键点的坐标组成的向量表示，面部纹理用将模型覆盖的人脸像素映射到平均形状模版后的纹理向量表示。当设置不同的参数时，可以产生不同的人脸形状和面部纹理。通过改变参数，使得产生的人脸形状和纹理与输入的当前帧图像中人脸形状和纹理相同，就可以得到当前帧图像中人脸和人脸上关键点的坐标。

人脸跟踪技术需要处理很多方面的困难。例如，当被跟踪的人脸发生剧烈的运动或姿态变化时，相邻两帧图像中的人脸距离较远或存在较大的外观差异，这时有些方法会跟踪失败。当人脸处于强烈的非均匀光照环境中时，由于阴影的存在，随着姿态、表情的变化，不同帧图像上人脸区域的外观会产生巨大的变化，从而导致跟踪失败。

而且，人脸区域上经常存在遮挡，例如墨镜、头发、口罩等，这会给跟踪带来困难。尤其当遮挡面积较大，以及遮挡的位置随时间会发生变化时，现有的技术难以提供稳定可靠的跟踪结果。通常，在现有技术中，为了解决遮挡条件下的跟踪问题，需要首先根据不同帧图像之间的差别，或者根据人脸模型给出的人脸外观与实际图像中人脸区域外观的差别，估计出可能的遮挡发生的区域，然后将这些遮挡区域排除在跟踪时使用的特征区域范围之外。然而，如何准确地估计出遮挡区域，从而使人脸跟踪得以准确进行，仍然是一个难以解决的问题。

发明内容

本发明的目的在于提供一种能够在人脸存在遮挡的情况下有效地进行人脸跟踪的设备和方法。