[发明专利]虚拟输入系统和相关方法

权利要求书

1.一种用于提供虚拟输入的方法，其特征在于，包括：

生成多个包含了触摸板以及邻近触摸板的用户的手的图像帧；

生成虚拟输入界面的用户可感知表示；

从所述多个图像帧中检测与用户的手关联的一个或多个指向装置；

从所述多个图像帧中确定与一个或多个被检测到的指向装置中的每一个指向装置的位置相对应的相应候选目标；

突出显示从所述多个图像帧中确定的每个相应候选目标；

检测所述指向装置中的一个指向装置点击触摸板时在触摸板上对应的相应触摸点；以及

通过将检测到的触摸点与从所述多个图像帧中确定的每个相应候选目标进行比较来确定所选择的目标。

2.根据权利要求1所述的方法，其特征在于，所确定的候选目标具有相对于触摸板的第一坐标位置，检测到的触摸点具有相对于触摸板的第二坐标位置，并且将所确定的候选目标与检测到的触摸点进行比较的动作包括计算第一坐标位置和第二坐标位置之间的距离。

3.根据权利要求2所述的方法，其特征在于，所选择的目标是在所有确定的候选目标中第一坐标位置和第二坐标位置距离最小的候选目标。

4.根据权利要求1所述的方法，其特征在于，所述虚拟输入界面具有与触摸板的形状基本一致的形状，并且虚拟输入界面的尺寸和触摸板的尺寸成比例，使得在虚拟输入界面上的每个点对应于触摸板上的唯一点，并且触摸板上的每个点对应于虚拟输入界面上的唯一点，并且虚拟输入界面具有预定义的目标的布局，其中每个目标对应于触摸板上的一个二维区域。

5.根据权利要求1所述的方法，其特征在于，还包括在所述多个图像帧中检测触摸板的形状，并检测触摸板上的标记，且根据被检测到的触摸板的形状和触摸板上的标记确定对应的虚拟输入界面上的目标的布局，其中标记能在触摸板上被显示，并且能被用户修改更新。

6.根据权利要求1所述的方法，其特征在于，确定相应候选目标的动作包括从所述多个图像帧检测多个悬浮目标，其中每个悬浮目标是基于相应指向装置相对于触摸板的位置从相应图像帧检测到的。

7.根据权利要求6所述的方法，其特征在于，候选目标是从多个检测到的悬浮目标中选择的满足一组预定规则的悬浮目标。

8.根据权利要求7所述的方法，其特征在于，该组预定规则描述了从所述多个图像帧检测到的所述多个悬浮目标之间的顺序模式和/或时间关系。

9.根据权利要求1所述的方法，其特征在于，还包括在头戴式设备上显示虚拟输入界面的用户可感知表示。

10.根据权利要求1所述的方法，其特征在于，突出显示候选目标的动作包括基于与候选目标相关联的置信度得分来生成候选目标的用户可感知表示，其中置信度得分度量用户意图使用所述指向装置中的一个指向装置指向候选目标的可能性。

11.一种用于提供虚拟输入的系统，其特征在于，该系统包括：

摄像头，适于生成多个包含了触摸板以及邻近触摸板的用户的手的图像帧；

键盘投影仪，适于生成虚拟输入界面的用户可感知表示；

指向检测单元，适于从所述多个图像帧中检测与用户的手相关联的一个或多个指向装置；

键检测单元，适于从所述多个图像帧中确定与一个或多个被检测到的指向装置的每一个位置相对应的相应候选目标；

键标识单元，适于突出显示从所述多个图像帧中确定的每个相应候选目标；

触摸板，适于检测所述指向装置中的一个指向装置点击触摸板时在触摸板上对应的相应触摸点；以及

比较单元，适于通过将检测到的触摸点与从所述多个图像帧中确定的每个相应候选目标进行比较来确定所选择的目标。