[发明专利]人工现实环境中的虚拟内容的基于手势的投射和操纵

说明书

实施方式涉及用于将人工现实内容显示给用户的近眼显示器(NED)系统并且涉及基于NED系统的用户执行的手势操纵所显示的内容项。NED系统的用户可执行模仿投掷对象的手势将内容项“投射”到由NED系统显示的人工现实(AR)环境中的目标位置。手势可包括：用户的手“抓取”或“捏住”与内容项对应的虚拟对象并且相对于他们的身体向后移动的第一部分，以及用户的手相对于他们的身体向前移动并且释放虚拟对象的第二部分。可基于与手势的第一部分的向后运动相关联的轨迹识别该目标位置。

技术领域

本公开内容大体上涉及手势(gesture，姿势)和眼睛跟踪系统，并且具体地，涉及人工现实环境中的虚拟内容的基于手势的投射和操纵。

背景技术

增强现实系统通常依靠具有比典型的虚拟现实(VR)头戴装置更小的形状因子的可穿戴装置。增强现实系统的使用对用户交互提出新的挑战。在增强现实系统中，用户与局部区域交互的先前方法可能是不够的或者不是最佳的。例如，在不使用增强现实的情况下，用户可能需要与装置在局部区域中进行物理交互，以便能够改变该装置。然而，对于增强现实的用户，可以升级装置和用户体验到允许用户使用除了简单的物理交互之外的方法改变装置。然而，用户体验中的此类变化应该对用户理解来说是直观的，并且在技术上应当是可行的。增强现实中的用户交互的当前方法尚不是直观的并且未开拓增强现实系统的技术能力，因此对于使用而言不是最佳的。

发明内容

实施方式涉及用于将人工现实内容显示给用户的近眼显示器(NED)系统并且涉及基于由NED系统的用户执行的手势操纵所显示的内容项。NED系统的用户可以执行模拟投掷对象的手势以将内容项“投射”到由NED系统显示的人工现实(AR)环境中的目标位置。该手势可包括：第一部分，其中用户的手“抓取”或“捏住”与内容项对应的虚拟对象并且相对于他们的身体向后移动；以及第二部分，其中用户的手相对于他们的身体向前移动并且释放虚拟对象。可以基于与手势的第一部分的向后运动相关联的轨迹识别该目标位置。

在一些实施方式中，该系统包括：NED，该NED包括光学组件，具有被配置为根据显示指令显示图像的电子显示器；以及成像装置，被配置为捕捉NED的局部区域的一部分的一个或多个图像。该系统进一步包括控制器，该控制器被配置为：使用所捕捉的一个或多个图像确定NED的用户位于局部区域内的手的位置，并且基于所确定的手位置，基于一个或多个所确定的手的位置识别由用户的手执行的手势的第一部分，该手势与一个或多个手移动或手位置的预定序列对应并且与内容项相关联。该控制器可以进一步确定局部区域内的和至少与所识别的手势的第一部分相关联的轨迹的延伸对应的位置，并且响应于基于一个或多个所确定的手的位置识别由用户的手执行的手势的第二部分，更新显示指令以使得电子显示器在所确定的位置处显示内容项的表示。

附图说明

图1是根据一个或多个实施方式的眼镜装置的示图。

图2是根据一个或多个实施方式的图1的眼镜装置的截面图。

图3是根据一个或多个实施方式的具有眼睛跟踪器的NED系统的框图。

图4示出了根据一个或多个实施方式的通过眼镜装置可以显示给用户的虚拟菜单的实例。

图5是根据一个或多个实施方式的基于所识别的手势操纵人工现实环境的示例性过程的流程图。

图6A示出了根据一个或多个实施方式的用户执行掷镖手势的第一部分以准备将虚拟对象投射到投射目标上。

图6B示出了根据一个或多个实施方式的用户执行掷镖手势的第二部分以将虚拟对象投射到投射目标上

图7示出了根据一个或多个实施方式的使用掷镖手势投射与内容项对应的虚拟对象的示例性过程的流程图。

图8A示出了根据一个或多个实施方式的其中用户正在“把持”与内容项对应的虚拟对象的AR环境中的虚拟界面元素。