[发明专利]健壮的在线脸部跟踪

说明书

背景

对于在线视频应用以及新兴的计算机视觉领域，跟踪诸如人脸表现的可视 对象仍然具有挑战性。尽管已有了很多研究，但是开发实际系统仍然面临诸多 挑战，诸如如何处理屏幕上脸部外观的改变、如何在突然移动时保持跟踪、以 及如何最小化抖动等。

按照惯例，某些脸部跟踪技术使用能够显著改善性能的基于粒子的滤波器 跟踪。然而，在实际应用中，这类脸部跟踪通常最终会因复杂的背景噪声、外 观变化和快动作而失败。比单独由粒子滤波器跟踪所能提供的更为健壮的脸部 跟踪技术是诸如控制台游戏、即时消息应用、影片编辑、数字媒体生成等实际 系统所不可或缺的。

为了投入实际应用，例如用于在线视频的脸部跟踪系统应该是快速的，带 有较高的检测率；并且是有效的，带有较低的跟踪失败率。这一脸部跟踪系统 应该实时跟踪而不占据计算机处理资源的主要份额，也不会遭遇明显的抖动。 在发生脸部跟踪的同时应该能够执行其他的处理任务。

概述

描述了用于健壮的在线脸部跟踪的系统和方法。在一个实现中，一种系统 导出描绘可视对象运动的视频序列的每一视频帧的多种分辨率。系统以较低分 辨率跟踪可视对象的运动，作为以更高分辨率跟踪可视对象的输入。该系统 能够大大减少抖动，同时保持可靠地跟踪快速移动可视对象的能力。

提供本概述以便以简化形式介绍概念精选，这些概念将在以下的详细描述 中被进一步描述。本概述并不旨在标识要求保护的主题的关键特征或本质特 征，也不旨在用于帮助确定要求保护的主题的范围。

附图简述

图1是示例性脸部跟踪系统的框图。

图2是示例性脸部跟踪引擎的框图。

图3是示例性多尺度(multi-scale)跟踪器的框图。

图4是示例性脸部跟踪方法的流程图。

详细描述

概览

在此描述的系统和方法例如为在线视频应用提供了对人脸或其他可视对 象的健壮跟踪。示例性的脸部跟踪系统具有可靠地执行快动作跟踪(即，跟踪 可视对象的突然快速位置改变)同时减小抖动的能力。这通过以不同分辨率跟 踪可视对象来实现：“多尺度跟踪”。示例性系统还对由于光照、表情、身体 位置等的改变造成的可视对象(例如，脸部)外观的改变表现稳定。在一个实 现中，示例系统利用全局脸部检测器和局部脸部检测器两者。因此，示例系统 通常包括脸部检测组件和多尺度跟踪组件两者。

示例性系统

图1示出了示例性可视对象跟踪系统，在此情况下为脸部跟踪系统100。 示例性脸部跟踪系统100是其中可以执行在此描述的脸部跟踪的计算环境。示 例性脸部跟踪系统100包括通常连接至因特网104的计算设备102，诸如台式 计算机。计算设备102在显示监视器106上显示图形输出，并且执行各应用， 诸如例示出的生成具有逼真运动的现实图形场景的游戏应用108。示例性脸部 跟踪引擎112在视频帧(诸如来自在线应用的视频帧)序列中自动找出每张脸 114，并跟踪每张脸114的位置。这一脸部跟踪在许多在线环境下很重要，例 如在连接至因特网104的另一远程玩家或远程进程控制诸如动画角色脸部的可 视对象的局部移动时。示例性脸部跟踪引擎112是健壮的，也就是说即便在快 速移动和外观改变的情况下仍不会轻易丢失对脸部位置的跟踪，并且能够可靠 地消除抖动同时保持高效计算。

示例性引擎

图2更为详细地示出了图1中的示例性脸部跟踪引擎112。虽然示例性引 擎112在此称为“脸部跟踪引擎”，但是跟踪脸部只是提供作为该示例性引擎 112能够执行的更为普遍的“可视对象跟踪”的一个示例。

示例性脸部跟踪引擎112的所示配置旨在为概览目的而提供一个示例性 安排。所示组件或类似组件的许多其他安排在主题范围内也是可能的。这一示 例性脸部跟踪引擎112可以用硬件、软件或硬件、软件、固件的组合等来执行。

示例性脸部跟踪引擎112包括其内包含全局脸部检测器204的跟踪初始器 202、分辨率金字塔生成器206、多尺度跟踪器208、其内包含局部脸部检测器 212的区域扫描器210、所存储的脸部模板214、以及脸部模板评估器216。

分辨率金字塔生成器206可以进一步包括原始图像缓冲器218、图像缓冲 器220、层数选择器222和图像下采样器224。