[发明专利]健壮的在线脸部跟踪

权利要求书

1.一种用于在线可视对象跟踪的方法，包括：

导出视频序列的各视频帧的多个分辨率，其中所述视频序列包括移动中的 可视对象，其中所述可视对象是脸部的表示；

在所述多个分辨率的较低分辨率下跟踪所述可视对象的移动；

在所述多个分辨率的较高分辨率下跟踪所述可视对象的移动，其中在较低 分辨率下所述跟踪的输出用作在较高分辨率下所述跟踪的输入，并且其中在较 低分辨率下的所述跟踪包括使用粒子滤波器而在较高分辨率下的所述跟踪包 括使用均值偏移跟踪器；

存储所述脸部的特征的模板，并在所述较高分辨率下跟踪移动之后评估所 述模板；以及

如果所述脸部的特征的变化已超过阈值，随后则通过在所述模板中存储脸 部的当前特征来刷新所述模板。

2.如权利要求1所述的方法，其特征在于，对于每个视频帧：

在较低分辨率下的所述跟踪包括获得所述可视对象的当前位置；以及

在较高分辨率下的所述跟踪包括从所述较低分辨率跟踪获得的当前位置 附近开始，以及获得所述可视对象的细化当前位置。

3.如权利要求1所述的方法，其特征在于，还包括：

接收所述视频序列的第一视频帧；

在所述第一视频帧中找出所述可视对象；

接收所述视频序列的后续视频帧；以及

导出每个后续视频帧的多个分辨率。

4.如权利要求1所述的方法，其特征在于，如果所述可视对象已经移动 使得无法找到该可视对象以进行在所述较低分辨率下的所述跟踪，则在整个视 频帧内检测该可视对象的位置。

5.如权利要求1所述的方法，其特征在于，还包括增加所述多个分辨率 的数量以提升快动作跟踪能力。

6.如权利要求5所述的方法，其特征在于，还包括在所述多个分辨率的 分层结构中，传送每一较低分辨率层的跟踪输出以初始化每个更高一层分辨率 层的跟踪。

7.一种用于在线可视对象跟踪的系统，包括：

视频序列输入装置，用以接收视频帧序列，其中所述视频帧序列包括移动 中的可视对象，所述可视对象是脸部的表示；

包含每个视频帧的多个版本的图像缓冲器，其中每一版本拥有不同的分辨 率；

多尺度跟踪器，用以在不同的分辨率下跟踪所述视频序列中可视对象的移 动，以减少该视频序列中的抖动，其中在较低分辨率下所述跟踪的输出用作在 较高分辨率下所述跟踪的输入，并且其中所述多尺度跟踪器包括多个跟踪器， 且最低分辨率跟踪器使用粒子滤波器来跟踪所述可视对象的运动，而最高分辨 率跟踪器使用均值偏移跟踪器来跟踪所述可视对象的运动；

脸部模板评估器，用于存储所述脸部的特征的模板，其中响应于所述多尺 度跟踪器使用最高分辨率对脸部当前位置进行的检测，所述脸部模板评估器将 所述脸部的当前特征与所存储的模板内的所述脸部的已存储特征相比较，且如 果所述当前特征相对于所述模板内特征的变化已经超过阈值，则通过在所述模 板中存储该脸部的当前特征来刷新所述模板。

8.如权利要求7所述的系统，其特征在于，还包括层数选择器，用以选 择在所述图像缓冲器中数量更多的所述多个版本，以增进对所述可视对象的快 速移动的检测。

9.如权利要求8所述的系统，其特征在于，在所述图像缓冲器中的多个 版本的每一个具有一对应的跟踪器。

10.如权利要求9所述的系统，其特征在于，还包括层间初始器，用以将 较低分辨率跟踪器的输出传送到分辨率稍高一级的跟踪器，以初始化该分辨率 稍高一级的跟踪器的跟踪。

11.如权利要求7所述的系统，其特征在于，所述多尺度跟踪器能够使用 所述多个视频帧分辨率来跟踪脸部的可视表示。

12.如权利要求11所述的系统，其特征在于，还包括跟踪初始器，用以 扫描视频帧直到检测到脸部并存储该脸部的特征的模板。

13.一种用于在线可视对象跟踪的系统，包括：

用于导出各视频帧的多个分辨率的装置，其中所述视频帧的序列示出了可 视对象的移动，其中所述可视对象是脸部的表示；

用于在所述多个分辨率下跟踪所述可视对象的移动的装置，其中将在较低 分辨率下检测到的所跟踪的移动作为用于在较高分辨率下跟踪所述可视对象 的输入，并且其中所述用于跟踪的装置包括多个跟踪器，且最低分辨率跟踪器 使用粒子滤波器来跟踪所述可视对象的运动，而最高分辨率跟踪器使用均值偏 移跟踪器来跟踪所述可视对象的运动；以及

用于存储所述脸部的特征的模板并响应于使用最高分辨率对脸部当前位 置进行的检测、将所述脸部的当前特征与所存储的模板内的所述脸部的已存储 特征相比较的装置，其中如果所述当前特征相对于所述模板内特征的变化已经 超过阈值，则通过在所述模板中存储该脸部的当前特征来刷新所述模板。