[发明专利]视觉目标跟踪

说明书

背景

许多计算机游戏和其他计算机视觉应用利用复杂的控制来允许用户操纵游戏人物或应用的其他方面。这些控制可能难以学习，从而对许多游戏或其他应用造成了进入障碍。此外，这些控制可能与这些控制所用于的实际游戏动作或其他应用动作非常不同。例如，使得游戏人物挥动棒球拍的游戏控制可能完全不类似于挥动棒球拍的实际运动。

概述

提供本概述以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。

这里讨论了与视觉目标跟踪有关的各种实施例。所公开的一个实施例包括通过从源接收观察到的目标的深度图像以及获得目标的姿态模型来跟踪目标。姿态模型被光栅化成合成的深度图像。然后至少部分地基于观察到的深度图像和合成的深度图像之间的差异来调整模型的姿态。

附图简述

图1A示出了跟踪玩拳击游戏的游戏玩家的示例性目标识别、分析和跟踪系统的实施例。

图1B示出了图1A的游戏玩家挥出重拳，该重拳被跟踪并且被解释成致使玩家化身在游戏空间中挥出重拳的游戏控制。

图2示意性示出根据本发明的一实施例的计算系统。

图3示出了用于表示人类目标的示例性身体模型。

图4示出了用于表示人类目标的示例性骨架模型的基本上正面的视图。

图5示出了用于表示人类目标的示例性骨架模型的斜视图。

图6示出了用于表示人类目标的示例性网格模型。

图7示出了在视觉上跟踪目标的示例方法的流程图。

图8示出了示例性的观察到的深度图像。

图9示出了示例性的合成的深度图像。

图10示意性地示出了构成合成的深度图像的像素中的某一些。

图11A示意性地示出了向模型的受力位置施加力。

图11B示意性地示出了向图11A的模型的受力位置施加力的结果。

图12A示出了从图11A的模型渲染的玩家化身。

图12B示出了从图11B的模型渲染的玩家化身。

详细描述

本公开内容涉及目标识别、分析和跟踪。具体来所，公开了使用深度相机或其他源来获取一个或多个目标的深度信息。如下文详细描述的，这些深度信息然后可被用于高效且准确地对一个或多个目标进行建模以及跟踪一个或多个目标。这里所述的目标识别、分析和跟踪提供了一种健壮的平台，其中可以相对较快的帧率来一致地跟踪一个或多个目标，即使目标移动成已被认为是使用其他方法难于分析的姿态(例如，当两个或更多个目标部分地互相重叠和/或遮挡时；当目标的一部分遮挡同一目标的另一部分时；当目标改变其局部解剖(topographical)外观(如某人触摸他的或她的头)时，等等)。

图1A示出目标识别、分析和跟踪系统10的一非限制性示例。具体而言，图1A示出了计算机游戏系统12，该计算机游戏系统12可以用于玩各种各样不同的游戏、播放一个或多个不同的媒体类型、和/或控制或操纵非游戏应用。图1A还示出了高清晰度电视即HDTV 16形式的显示器14，该高清晰度电视可以用于向诸如游戏玩家18之类的游戏玩家呈现游戏视觉。此外，图1A示出了深度相机20形式的捕获设备，其可以用于视觉地监视诸如游戏玩家18之类的一个或多个游戏玩家。图1A中所示的示例是非限制性的。如下面参考图2所述，在不偏离本公开的范围的情况下可以使用各种不同类型的目标识别、分析和跟踪系统。

目标识别、分析和跟踪系统可以用于识别、分析和/或跟踪诸如游戏玩家18之类的一个或多个目标。图1A示出了如下的场景：使用深度相机20跟踪游戏玩家18，使得游戏玩家18的运动可以被游戏系统12解释成可以用于影响由游戏系统12执行的游戏的控制。换言之，游戏玩家18可以使用其运动来控制游戏。游戏玩家18的运动基本上可以被解释成任何类型的游戏控制。