[发明专利]全自动动态关节连接的模型校准

说明书

背景

成像系统获得关于关节连接的对象（诸如人）或其他物体在物理空间中的位置、姿态和/或移动的数据，并且可使用该数据作为计算系统中的某一应用的输入。可以有许多应用，例如用于军事、娱乐、体育和医学目的。例如，对象的姿态和/或运动可用于控制动画人物或化身、参与游戏、从命令的屏幕上菜单中作出选择等等。姿态可表示对象在某一时间点（诸如一深度像素帧）的构造或形状，而对象的运动可由诸如在多个深度像素帧中的姿态序列来表示。成像系统可包括使用相机来在视野中检测对象的存在的光学系统。然而，以更高的保真度来对对象进行成像需要进一步细化。具体而言，希望以高度的保真度来对诸如手之类的关节连接（articulated）的身体部位进行成像。

概述

提供了用于以改进的保真度来对诸如用户的手之类的关节连接的身体部位进行成像的处理器实现的方法、成像系统和有形计算机可读存储设备。例如，用户可以作出手势来导航菜单、在浏览或购物体验中交互、选择要玩的游戏、或访问通信特征，如向朋友发送消息。用户可使用手来控制光标以从屏幕上菜单选择项目，或者控制化身在3D虚拟世界中的移动。一般来说，手位置和姿态可被检测并用作对成像系统中的应用的控制输入。

为提升成像系统准确地标识关节连接的身体部位的能力，提供了关节连接的身体部位的模型。该模型被匹配到从深度传感器获取的对应深度像素，以提供初始匹配。该匹配过程随后使用距离约束、冲突约束、角度约束以及使用光栅化模型的像素比较来细化。

在一个实施例中，提供了其上包含计算机可读软件的计算机可读存储设备，该计算机可读软件用于对至少一个处理器进行编程以执行一种用于对对象（诸如用户/人、动物、机器人等）的关节连接的身体部位的姿态进行建模的方法。该方法包括获取关节连接的身体部位的深度像素。深度像素可使用深度传感器例如在一个或多个帧中获取。深度像素是传感器数据。该方法还包括处理该一个或多个帧的深度像素以标识关节连接的身体部位。该方法还包括访问模型，其中该模型包括与该对象的关节连接的身体部位相对应的关节连接的身体部位。该模型的关节连接的身体部位被匹配到所标识的该对象的关节连接的身体部位，以提供初始匹配。在一种可能的方式中，此匹配过程将该模型的每一关节连接的身体部位的代表性吸引点匹配到一个或多个帧中的深度像素的相应质心。

该方法还包括估计该模型的关节连接的身体部位在初始匹配中违反距离约束的程度，其中这些距离约束包括对该模型的关节连接的身体部位之间的距离的约束。该模型被调整以试图满足距离约束，包括基于距离约束被违反的程度来调整该模型的关节连接的身体部位中的至少一个的长度。作为一个示例，可以增大或减小关节连接的身体部位的长度。

在该模型满足指定条件时，诸如在该模型的至少两个相邻手指指节（segment）被确定为位于指定相对位置（例如，彼此平行）时，可以实施冲突约束。该模型可被调整以诸如通过减小该模型的至少两个相邻手指指节的宽度来试图满足冲突约束。

像素比较可涉及将手的关节连接的部位中的至少一个的深度像素与一个或多个帧中的深度像素进行比较，以标识一个或多个帧中的非重叠深度像素以及手的关节连接的部位中的至少一个的非重叠深度像素。该模型可基于比较步骤来调整，以便诸如通过减小和/或增加该模型的关节连接的身体部位中的至少一个的维度，使得该模型更紧密地匹配一个或多个帧中的深度像素。

提供本概述以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。

附图简述

在附图中，相同编号的元件彼此对应。

图1描绘了成像系统的示例实施例。

图2描绘了图1的成像系统的示例框图。

图3描绘了可以在图1的成像系统中使用的计算环境的示例框图。

图4描绘了可以在图1的成像系统中使用的计算环境的另一个示例框图。

图5描绘了包括关节和吸引点的用户的手的模型。

图6描绘了用于以改进的保真度在成像系统中检测关节连接的身体部位的姿态的方法。

图7A描绘了图6的步骤700、720和750的进一步细节。

图7B描绘了图6的步骤760的进一步细节。

图8A描绘了深度像素（包括用户的手的深度像素）的帧。

图8B描绘了图8A的用户的手的深度像素，而背景像素被移除。