[发明专利]基于手势的人机界面

说明书

技术领域

本发明涉及基于手势的人机界面，例如可用于控制在计算机上执行的程序的图形化用户界面。尽管适合于很多类型的程序，不过特别感兴趣于控制一个或更多个无人飞行器的飞行的程序。

背景技术

人机界面已经在过去的数十年发生了很大的改变。即使在计算机控制的较窄领域中，界面已经从命令行演变成要求使用鼠标或类似指点装置以便选择显示给用户的图标的图形化用户界面。

最近以来，触摸屏装置已经开始流行。当触摸屏装置开启基于手势控制的可能性时，允许多点输入的触摸屏装置特别有利。苹果的iPhone(TM)是触摸可被用来选择项目、向上或向下滚屏、放大或缩小并旋转项目的较好示例。例如，屏幕倾向于具有较慢的反应时间、较差的精确性和较差的可靠性，而频繁使用触摸屏导致残余物和灰尘的积累，残余物和灰尘导致进一步的性能退化。

通过避免接触屏幕，避免触摸屏装置的一些问题的系统已经被提出。代之，用户的手势被监测，并且提供基于检测到的手势的响应。例如，监测用户的手的系统已经被提出，使得用手产生的手势被用来选择、滚动、变焦、旋转等，类似于依赖于触摸屏幕的现有系统。

发明内容

在此背景下，本发明属于通过基于手势的人机界面使用计算机系统的方法。该方法包括使用物体指向显示在计算机系统的屏幕上的信息，并用至少两个照相机捕捉屏幕前的景象。处理器被用来分析用照相机捕捉的景象以识别物体，以确定物体指向在屏幕上的何处和物体离屏幕的距离。之后，处理器响应于物体指向何处和物体离屏幕的距离的确定来修改显示在屏幕上的信息。

以此方式，可以避免触摸屏的缺点。此外，可以利用关于物体离屏幕多远的信息。这个信息可以以不同的方式被使用。例如，可通过放大物体指向的屏幕部分来改变显示在屏幕上的信息，放大率取决于从屏幕到物体所确定的距离。因此，靠近屏幕的指点可以被用来提供比在更远处的指点更大的放大率。可以设定限值，使得比某距离更远的指点产生一致的放大率，而在距屏幕设定距离处放大率到达最大值。这些距离之间的放大率如何变化可以被控制，如，它可以线性地或按指数规律地变化。

该方法可以包括追踪物体的移动以确定物体指向屏幕上的何处。该方法可以包括确定物体的纵向伸展以确定物体指向屏幕上的何处。这两个可选的特征可以被用作可替换方案或者它们可以被用来相互增强。

通过确定在一段时间内物体离屏幕的距离，物体移动的速度可以被确定。这个速度可以被用作对显示在屏幕上的信息的进一步的控制。物体向屏幕的快速移动可以被解释得与物体向屏幕的逐渐移动不同。例如，逐渐移动可以被解释为单击，而快速移动可以被解释为双击。

可选地，该方法可以包括用两个物体指向显示在计算机系统的屏幕上的信息，并用至少两个照相机捕捉屏幕前面的景象。处理器可以被用来分析照相机所捕捉的景象以识别物体，从而确定物体指向屏幕上的何处和物体离屏幕的距离。之后，处理器响应于物体指向屏幕上何处和物体离屏幕的距离的确定来修改显示在屏幕上的信息。这允许进一步的功能。例如，该对物体可以被用来独立地与屏幕上的不同控制交互作用，以调节音量控制并在某一区域上放大。这两个物体还可以一起被使用。可以用物体操作显示在屏幕上的图像，例如通过旋转物体。例如，使左边的物体向屏幕移动并使右边的物体远离屏幕移动可以引起图像绕竖直轴线顺时针方向旋转，并且使上面的物体向屏幕移动并使下面的物体远离屏幕移动可以引起图像绕水平轴线旋转，根据物体的相对对齐和物体之间的相对移动也可以存在其它旋转。

很多不同的物体可以被用来指在屏幕上。例如，物体可以是用户的手。优选地，物体可以是用户的手的伸展的手指。之后，手指的指尖可以是被用来确定离屏幕的距离的点。手指伸展(extension)可以被用来确定用户指向屏幕上的何处。

本发明还在于包括基于手势的人机界面的计算机系统。该计算机系统包括：(a)可被操作来显示信息的屏幕，(b)被布置成捕捉屏幕前面的景象的至少两个照相机，和(c)处理器。处理器被布置成接收照相机提供的图像并分析图像，以识别指向显示在屏幕上的信息的物体。处理器还被布置成确定物体指向屏幕上的何处和物体离屏幕的距离。处理器还被布置成响应于物体指向何处和物体离屏幕的距离的确定来修改显示在屏幕上的信息。