[发明专利]使用深度相机的化身构造

说明书

背景

化身是主体(例如人类主体)的具有姿态的虚拟表示。当前，通常在视频游戏中使用化身来表示玩家，但也有许多其他应用是可能的。对于在游戏世界之外的应用，将人类主体表示为化身可能受到构造合适保真度的化身的成本和复杂度的限制。具体来说，以足够的详细程度捕捉主体的形状和面部特征来构造逼真化身可能要求使用昂贵的工作室质量的设备来进行很长的图像捕捉。

概述

本公开的一个实施例提供了一种用于构造人类主体的化身的方法。该方法包括捕获主体的深度图，基于该深度图来获得主体的虚拟骨架，以及从该虚拟骨架中收获特征度量集。这些度量与虚拟骨架的预定点之间的距离相对应。在这一示例方法中，提供特征度量作为对使用机器学习所训练的算法的输入。该算法可以使用各种姿态的实际人类模型以及单个姿态的各种人类模型来训练以输出因变于特征度量的虚拟身体网格。该方法还包括构造不同于虚拟身体网格的虚拟头部网格，其中面部特征类似于主体的面部特征，并且将虚拟身体网格与虚拟头部网格相连接。

提供本概述以便以简化形式介绍在以下具体实施方式中进一步描述的选择的概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开内容的任何部分中提到的任何缺点的实现方式。

附图说明

图1示出根据本公开的一实施例的用于构造人类主体的化身的系统。

图2示出根据本公开的一实施例的用于构造人类主体的化身的方法。

图3示出根据本公开的一实施例的虚拟骨架的各方面。

图4示出根据本公开的一实施例的虚拟身体网格的各方面。

图5示出根据本公开的一实施例的虚拟头部网格的各方面。

图6示出根据本公开的一实施例的连接到虚拟身体网格的虚拟头部网格的各方面。

图7示出根据本公开的一实施例的用于动画化化身的方法。

图8示出根据本公开的一实施例的用于在零售设置中使用化身的方法。

图9示出根据本公开的一实施例的化身的演示和审阅。

图10示意性地示出根据本公开的一实施例的计算系统的各方面。

具体实施方式

现在将通过示例并参照所示的以上列出的实施例来描述本发明的各方面。在一个或多个实施例中基本相同的组件、过程步骤和其他元素被协调地标识并且以重复最小的方式描述。然而应该注意，协调地标识的元素还可以在某种程度上不同。还应该注意，本发明中包括的附图是示意性的并且通常未按照比例绘制。相反，附图中所示的各种绘制比例、纵横比和组件数量可以有目的地失真，以使特定特征或关系更加显见。

根据本公开，“化身”是人类主体的计算机表示。化身可以由一个或多个合适的数据结构来具体化，包括但不限于多边形网格。在一些实施例中，化身可以被呈现以供显示。在其他实施例中，化身不被呈现以供显示。本公开的平衡提出了用于构造人类主体的化身的各种系统和方法。这些系统和方法可以在各种应用中使用，例如，视频游戏、交互式训练软件、物理疗法、或在零售设置中。更一般地，化身可以在期望对主体进行虚拟表示的任何场景中使用。

化身在零售设置中的一种示例应用是使得顾客能够虚拟地“试穿”各种项目。作为示例，这些项目可包括衣物、眼镜、鞋类、配件、假体、珠宝、纹身、和/或化妆。通过以虚拟形式的这些项目来扩充她的化身，顾客能够预测她在穿戴相应的实际项目时看上去会如何。这种办法能够在实际造访试衣间之前用来预先筛选这些项目以节省时间。另外，顾客可以选择与其他人共享扩充有虚拟项目的她的化身的图像。在一些场景中，与并非物理上在场的朋友或家庭成员的这种共享能够远程地完成——例如经由电子邮件或蜂窝电话。以此方式，顾客可以受益于在作出购买项目的决定之前来自另一个人的建议。在基于化身的线上零售体验中，选择项目、试穿项目、然后购买项目的整个过程可以在顾客的家里或工作场所中私下进行。

在当前技术中，存在针对化身构造的陡的保真度-成本曲线。适于视频游戏应用的低保真度化身可以简单地使用廉价的设备来构造。然而，如上所述的应用可能要求高得多的保真度的化身。通常使用专门化的工作室质量的设备来构造实际上类似给定人类主体的高保真度化身。具体来说，可以使用高分辨率深度相机来捕获化身所基于的三维图像数据。