[发明专利]通过学习到的来自用户的输入使视觉表示生动化

说明书

背景技术

各种应用将显示用户可通过诸如选中遥控器上的按钮或以一定方式移动控制器之类的一定动作来控制的与该用户相对应的视觉表示。该视觉表示是通常采取二维(2D)或三维(3D)模型的形式的计算机表示，并且在诸如计算机游戏、视频游戏、聊天、论坛、社区、即时消息收发服务等之类的各种应用中予以呈递。视觉表示可以是化身、幻想角色、卡通形像或动物、光标、手等形式。诸如计算机游戏、多媒体应用、办公室应用等之类的许多计算应用提供对预定义动画角色的选择，所述预定义动画角色可被选择以供在应用中用作用户的化身。通常，由化身执行的动画可以选自动画库。用户可以通过按下例如遥控器上的按钮或按键来选择使其化身执行来自该库的特定动画。

发明内容

在此公开了用于通过学习来自用户的输入来智能地训练化身执行动画的技术。虚拟空间中的化身可以随时间表现得变为对物理空间中的用户的反映，包括反映该用户的特征、行为、倾向性、语音模式等等的各方面。例如，系统可以具有捕捉设备，该捕捉设备捕捉关于物理空间中的用户的数据。该系统可以标识出该用户的特性、倾向性、语音模式、行为、姿势等等。该系统可以随时间学习用户的倾向性，并且智能地将动画应用于该用户的化身，使得该化身根据所标识出的该用户的行为来作出行为和响应。因此，训练供动画执行的化身可以包括：学习来自用户的输入；以及将化身塑造为与用户相似。

因此，无论用户是否存在于该物理空间中，该系统都可以呈递与该用户相似的化身。在一示例性实施例中，应用于化身的动画例如可以利用选自预先打包的动画库的动画，比如伴随着程序、应用或系统的动画。所选动画可以是与系统学习到的用户输入相对应的动画。在另一示例性实施例中，库中的动画可以是由用户输入和记录到化身的动画词汇表中的动画。例如，该系统或用户可以重新编写动画以反映例如由捕捉设备所捕捉到的用户的实际运动或行为。因此，可以在化身动画库中添加或重写动画。

提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所请求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。

附图说明

参考附图来进一步描述根据本说明书的用于修改视觉表示的系统、方法和计算机可读介质，在附图中：

图1示出目标识别、分析、及跟踪系统的示例实施例，其中用户正在玩游戏。

图2示出了可在目标识别、分析和跟踪系统中使用且结合了链接和动画混合技术的捕捉设备的示例实施例。

图3示出了其中可实现本文描述的动画技术的计算环境的示例实施例。

图4示出了其中可实现本文描述的动画技术的计算环境的另一示例实施例。

图5A示出了从深度图像生成的用户的骨架映射。

图5B示出了图2所示的姿势识别器架构的进一步细节。

图6A和6B描绘了示例性目标识别、分析和跟踪系统、以及用于基于用户的输入历史来显示该用户的化身的示例性实施例。

图7A描绘了两个用户正通过各自的目标识别和跟踪系统彼此远程地交互。图7B描绘了第一用户正与第二用户的化身进行交互，其中第二用户不在该场景中。

图8描绘了用于收集与用户的输入有关的行为数据的方法的示例性流程图。

图9描绘了用于智能地将动画应用于用户的化身的方法的示例性流程图。

说明性实施例的详细描述

在此公开了用于呈递诸如化身之类的用户的视觉表示的技术，其中所述视觉表示根据用户来作出行为。例如，公开了包括如下动作的系统和方法：通过经由用户输入学习用户的倾向性来智能地训练化身执行动画。用户的视觉表示例如可以为化身、屏幕上的光标、手、或与物理空间中的用户相对应的任何其他虚拟物体的形式。计算系统可以通过从物理空间捕捉数据来对用户的视觉表示进行建模和显示。例如，该系统可以包括捕捉场景的图像数据的捕捉设备、以及显示与该场景中的用户相对应的视觉表示的监视器。所期望的可能是基于用户的物体特性来初始化和/或定制虚拟表示。例如，捕捉设备可以标识出用户的体格特征，并且基于诸如眼睛形状、鼻子形状、服装、佩饰之类的这些所标识出的特征来定制该用户的化身。