[发明专利]用于跟踪人脸的设备和方法

权利要求书

1.一种用于跟踪人脸的设备，包括：

人脸位置确定单元，用于从当前帧图像确定人脸位置；

分割单元，用于将人脸位置的图像分割成组成人脸的各部分图像；

遮挡估计单元，用于基于遮挡概率模型来估计分割后的各部分图像被遮挡的概率，并基于所述各部分图像被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率；

关键点获取单元，用于通过最小化与每个像素被遮挡的概率有关的匹配误差函数，使人脸的二维形状模型相对于人脸形状进行匹配，从而获取当前帧图像上人脸关键点的位置，以完成对人脸的跟踪，

其中，在所述匹配误差函数中，基于每个像素被遮挡的概率来调整人脸表观模型与人脸形状无关纹理图像的表观向量之间的差异。

2.如权利要求1所述的设备，还包括：

跟踪效果确定器，用于利用分类器来确定对人脸的跟踪是否成功。

3.如权利要求1或2所述的设备，其中，分割单元使用基于颜色和位置坐标的像素聚类算法将人脸位置的图像分割成至少一个图像片，并且，遮挡估计单元基于图像片遮挡概率模型来估计每个图像片被遮挡的概率，并基于每个图像片被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率。

4.如权利要求1或2所述的设备，其中，分割单元将人脸位置的图像分割成与各个人脸器官对应的至少一个图像区域，并且，遮挡估计单元基于图像区域遮挡概率模型来估计每个图像区域被遮挡的概率，并基于每个图像区域被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率。

5.如权利要求1所述的设备，其中，分割单元将人脸位置的图像分割成至少一个图像片和至少一个图像区域，并且，遮挡估计单元基于遮挡概率模型来分别估计每个图像片和每个图像区域被遮挡的概率，并基于每个图像片和每个图像区域被遮挡的概率，估计人脸位置的图像中每个像素被遮挡的概率。

6.如权利要求5所述的设备，其中，分割单元使用基于颜色和位置坐标的像素聚类算法将人脸位置的图像分割成至少一个图像片，并按照预先定义的人脸器官，将所述至少一个图像片中对应于相同人脸器官的图像片合并为图像区域。

7.如权利要求1、2或5所述的设备，其中，人脸位置确定单元在当前帧图像中检测人脸特征点，在关键帧数据库中选择与人脸特征点在特征向量方面匹配的对应特征点，然后通过使对应特征点在当前帧图像上的投影与人脸特征点之间的距离度量最小，来计算一种人脸三维形状模型的三维位置和旋转参数，使用此三维位置和旋转参数计算人脸二维形状模型的关键点在图像中的位置，从而确定当前帧图像中人脸的位置，

其中，关键帧数据库包括与之前成功跟踪到的人脸对应的人脸关键帧，在跟踪开始时建立，在成功跟踪每一帧图像后更新，其中，所述人脸关键帧中保存有所述之前成功跟踪到的人脸上被成功匹配的特征点的三维位置坐标和特征向量。

8.如权利要求7所述的设备，其中，人脸位置确定单元基于人脸特征点与计算出的所述一种人脸三维形状模型中的对应特征点在当前帧图像上的投影之间的距离是否小于预定阈值来确定所述人脸特征点是否为被成功匹配的特征点。

9.如权利要求5或6所述的设备，其中，遮挡估计单元包括：

图像片遮挡估计单元，用于基于图像片遮挡概率模型来估计每个图像片被遮挡的概率；

图像区域遮挡估计单元，用于基于图像区域遮挡概率模型来估计每个图像区域被遮挡的概率；

综合估计单元，用于基于每个图像片和每个图像区域被遮挡的概率，估计人脸位置的图像中每个像素被遮挡的概率。

10.如权利要求9所述的设备，其中，如果跟踪效果确定器确定对人脸的跟踪成功，则图像片遮挡估计单元在当前帧没有被遮挡的情况下利用相应的图像片来更新图像片遮挡概率模型，图像区域遮挡估计单元在当前帧没有被遮挡的情况下利用相应的图像区域来更新图像区域遮挡概率模型。