[发明专利]与自然用户界面的双手交互

权利要求书

1.一种在头戴式显示系统上执行的方法，所述头戴式显示系统包括透视近眼显示器、一个或多个图像传感器、逻辑机和存储机，所述方法包括：

从所述一个或多个图像传感器接收图像数据；

通过接收到的图像数据来检测由用户的第一只手做出的上下文设置输入姿势以触发绘画程序的执行；

向所述透视近眼显示器发送表示基于虚拟交互坐标系统定位的用于所述绘画程序的全息立体用户界面的数据，所述虚拟交互坐标系统包括基于所述用户的所述第一只手的位置来定位的基准平面；

通过接收到的图像数据来检测所述第一只手做出改变了的上下文设置输入姿势，以触发所述绘画程序的子上下文以检测绘画输入；

通过接收到的图像数据来检测由所述用户的第二只手相对于所述全息立体用户界面和相对于所述虚拟交互坐标系统的所述基准平面做出的绘画输入姿势，所述绘画输入姿势在所述用户的所述第一只手正在做出所述改变了的上下文设置输入姿势时做出；以及

基于相对于所述虚拟交互坐标系统中的所述基准平面的所述绘画输入，在所述全息立体用户界面中显示绘画。

2.如权利要求1所述的方法，其特征在于，检测绘画输入姿势包括检测所述第二只手从所述用户的视角而言从在所述虚拟交互坐标系统的所述基准平面的一侧上的位置到在所述基准平面的另一侧上的位置横跨所述基准平面的移动。

3.如权利要求2所述的方法，其特征在于，检测横跨所述基准平面的所述第二只手触发经由相机的图像捕捉过程。

4.如权利要求1所述的方法，其特征在于，还包括检测所述第一只手的姿态的改变，并且作为响应，触发所述绘画输入姿势的结束。

5.如权利要求4所述的方法，其特征在于，所述第一只手的姿态的改变触发由所述第二只手对所述全息立体用户界面的标记的结束。

6.一种头戴式近眼显示系统，包括：

透视近眼显示器；

一个或多个图像传感器；

逻辑机；以及

存储机，所述存储机包括能够由所述逻辑机执行以进行以下操作的指令：

从所述一个或多个图像传感器接收图像数据；

通过接收到的图像数据来检测由用户的第一只手做出的上下文设置输入姿势以触发绘画程序的执行；

向所述透视近眼显示器发送表示基于虚拟交互坐标系统定位的用于所述绘画程序的全息立体用户界面的数据，所述虚拟交互坐标系统包括基于所述用户的所述第一只手的位置来定位的基准平面；

通过接收到的图像数据来检测所述第一只手做出改变了的上下文设置输入姿势，以触发所述绘画程序的子上下文以检测绘画输入；

通过接收到的图像数据来检测由所述用户的第二只手相对于所述全息立体用户界面和相对于所述虚拟交互坐标系统的所述基准平面做出的绘画输入姿势，所述绘画输入姿势在所述用户的所述第一只手正在做出所述改变了的上下文设置输入姿势时做出；以及

基于相对于所述虚拟交互坐标系统中的所述基准平面的所述绘画输入，在所述全息立体用户界面中显示绘画。

7.如权利要求6所述的近眼显示系统，其特征在于：

所述上下文设置输入姿势触发光标控制模式；

所述全息立体用户界面包括能够通过光标选择的一个或多个元素；

所述绘画输入姿势包括光标发起输入姿势，所述光标发起输入姿势包括所述用户的所述第二只手横跨所述虚拟交互坐标系统内的所述基准平面移动。

8.如权利要求7所述的近眼显示系统，其特征在于，所述光标发起输入姿势包括所述用户的所述第二只手从所述近眼显示系统的视角而言从在延伸自所述第一只手的基准平面前面的位置到在所述基准平面的后面的位置横跨所述基准平面。

9.如权利要求8所述的近眼显示系统，其特征在于，所述指令还可被执行以：

检测包括所述第二只手在所述基准平面后面的横向移动的光标移动输入姿势；

响应于检测到所述光标移动输入姿势，与所述第二只手在所述基准平面后面的移动相对应地移动所述光标的图像。