[发明专利]虚拟输入系统和相关方法

说明书

一种用于提供虚拟输入的方法，其特征在于，包括生成多个包含了触摸板以及邻近触摸板的用户的手的图像帧；生成虚拟输入界面的用户可感知表示；从多个图像帧中检测与用户的手关联的一个或多个指向装置；从多个图像帧中确定与一个或多个被检测到指向装置中的每一个指向装置的位置相对应的候选目标；突出显示从多个图像帧中确定的每个相应候选目标；检测任一指向装置每次点击触摸板时在触摸板上对应的相应触摸点；以及通过将检测到的触摸点与从多个图像帧中确定的每个相应候选目标进行比较来确定所选择的目标。本文还揭示了一个实现上述方法的系统。

技术领域

本申请涉及计算机领域，更具体地涉及虚拟输入技术。

背景技术

本申请以及本文揭示的创新和相关主题(以下统称为“发明”)涉及通过虚拟输入人机接口实现用户输入的系统和方法，本发明可以被用于增强现实(AR)或虚拟现实(VR)技术。

传统上，键盘是最常用的输入设备之一，通过键盘用户可以将数据或命令输入到计算环境中，以便实现例如操作计算机或操控在计算机上的程序。例如，通过键盘，用户可以通过按压键盘上的一个或多个键来输入数据或命令。键可以对应于字符、数字、功能符号，标点符号等。在本发明中，术语“虚拟键盘”是指：一种不存在物理组件的视觉表示，这种视觉表示模拟了键盘布局，并被允许与用户交互，使用户可以通过它选择并输入一个或多个键，完成将数据或命令输入计算环境的任务。

一些公司已经在尝试开发可以被用于AR或VR应用的虚拟键盘技术。然而，现有技术存在一个或多个缺陷。用于实现虚拟键盘的一种常规技术是对记录了使用人的手和/或手指运动的实时图像进行跟踪处理。在该方法下，系统使用摄像头来记录用户的手和/或手指相对于任何的一个触摸表面，例如桌面的位置，系统然后连续地分析手和/或手指相对于摄像头视野中的触摸表面的移动。基于图像分析的结果，系统可以生成对应于该触摸表面的虚拟键盘，然后将用户的手和/或手指移动解释为虚拟键盘上的输入。虽然这种方法可以消除对物理键盘的依赖，但是它存在一些缺陷。例如，为了确定用户的手和/或手指在三维空间中的移动，该技术需要使用实时图像处理的高级算法，这会增加计算的复杂度和功耗。此外，单纯依赖图像处理并不能保证在虚拟键盘上识别出的用户输入的准确性。这些问题可能因为摄像头的位置而进一步被恶化，例如，当摄像头位于头戴式设备(HMD)，例如一副智能眼镜上时，摄像头的视角和手指的位置决定了其无法很好地记录手指和触摸表面的距离。一个按键动作可以被解释为手指和触摸表面的距离小于一个预定义的阈值。

用于实现虚拟键盘的另一常规技术是基于接近感知。在该方法下，系统使用了一个感知板，上面有能够感知用户的手和/或手指接近(悬浮)或物理接触的传感器，例如电容传感器。通过将用户的手和/或手指靠近感知板，系统可以检测手和/或手指的位置，系统可以基于该位置来判断用户的预期输入。然而，这种方法也存在一些缺点。例如，为了实现可靠的感知，用户必须将他的手和/或手指靠近并悬浮在感知板上方，例如在大约1-2cm的距离内。在相对长的时间段内保持这样的近距离会导致人的疲劳甚至疲劳损伤。此外，用户可能无意中触摸了感知板，尽管他的意图是保持手和/或手指处于悬浮状态，这会导致错误的用户输入。

此外，虽然期望一个用户输入界面能够实现“您所看到的就是您所选择的”，但是现有的虚拟键盘技术对于用户输入的容错性很低。例如，即使用户确定了目标键，在输入目标键的过程中，由于用户手指的偏移，系统会错误的选择一个相邻键作为输入，从而导致输入错误。此外，大多数现有的虚拟键盘技术不具有足够的灵活性，不能根据不同的应用动态地改变键盘布局；或者动态地调整虚拟键盘的大小和/或位置从而不仅方便了用户输入，又不阻挡AR或VR本身的内容显示。

因此，我们仍然需要一种新的虚拟输入技术，可以为AR或VR系统提供更高效，准确，可靠和灵活的用户输入。

发明内容

本文揭示的发明克服了现有虚拟键盘输入技术中的许多问题，并且提供了在前述或其它虚拟输入领域需要的一个或多个解决方案。在一些方面，本文揭示的发明涉及用于提供虚拟输入的方法和系统，可以被应用于AR或VR系统中。