[发明专利]对内容的基于计算机视觉的双手控制

说明书

发明领域

本发明涉及电子设备的基于姿势和手势的控制的领域。具体地，本发明涉及基于计算机视觉的手姿势和姿态识别。

发明背景

随着计算机和其它电子设备在我们日常生活中变得较为普遍，对更方便、直观和便于携带的输入设备的需要增加了。指示设备是通常用于与计算机以及相关于电子显示器的其他电子设备进行交互的一种类型的输入设备。已知的指示设备和机器控制机构包括电子鼠标、轨迹球、指示棍和触摸板、触摸屏等。已知的指示设备用来控制在相关的电子显示器上显示的光标的位置和/或移动。指示设备也可以通过启动指示设备上的开关来传达命令，例如位置特定的命令。

在一些实例中，存在从一段距离控制电子设备的需要，在这种情况下用户不能触摸设备。这些实例的一些例子包括看TV、在PC上看视频等。在这些情况中使用的一种解决方案是远程控制设备。

最近，人打手势例如手打手势被建议为用户界面输入工具，其可甚至在离被控制的设备的一段距离处被使用。通常，手的姿势或姿态可以被照相机检测到，并且转变成特定的命令。

通过基于计算机视觉的手打手势，对所显示的内容的操作例如缩小/放大也是可能的。通常，手的移动引起屏幕上的内容的移动、旋转或缩小/放大。然而，为了停止操作并产生其它命令，用户必须将他的手移出照相机视场并且随后再次将它们带到视场。因此，目前已知的操作方法没有提供使用户能够自由操作所显示的内容的完全的解决方案。

发明概述

本发明的实施方式提供了用于基于手的姿势和姿态来容易控制设备的系统和方法，其使用户能够顺利并直观地在不同命令之间交替。

在一个实施方式中，系统和方法包括通过使用特定的手姿势（“操作姿势”）来操作所显示的内容。在一个实施方式中，一种模式（操作模式）被启用，在该模式中可通过使用操作姿势在一般双手操作（例如缩放和旋转）中操作内容。

附图的简要说明

现在将参考下列例证性附图关于某些实施例和实施方式描述本发明，以便本发明可以被更充分理解。在附图中：

图1示意性示出了根据本发明的实施方式可操作的系统；

图2示意性示出根据本发明的一个实施方式的用于所显示的内容的基于计算机视觉的双手控制的方法；

图3示意性示出根据本发明的一个实施方式的用于对光标进行基于计算机视觉的双手控制的方法；

图4A-D示意性示出了可基于手姿势和姿态的计算机视觉识别来控制的设备的几个实施方式；

图5A-B示意性示出根据本发明的两个实施方式的设备和GUI；

图6示意性示出根据本发明的另一个实施方式的设备和GUI；

图7示意性示出根据本发明的实施方式的用于控制GUI上的图形元素的方法；以及

图8示意性示出根据本发明的实施方式的用于对设备进行基于计算机视觉的控制的方法。

本发明的详细描述

根据本发明的实施方式，提供了一种用于用户-设备交互的系统，其包括具有显示器的设备以及与该设备和处理器进行通信的图像传感器。图像传感器获取图像数据，并且将它发送到处理器以执行图像分析来从图像数据检测和跟踪用户的手，并检测用户的手控制设备——通常控制所显示的内容——的姿势。

根据本发明的实施方式，对特定的手姿势或姿态的检测或者两只手（而不是单只手）的检测使系统将手的姿态解释为根据用户的手移动来操作所显示的内容（在一些实施方式中，根据用户的手移动选择所显示的内容和跟踪用户的手来操作被选择的内容）的命令。对视觉地显示的内容的选择或者GUI上的图形元素的选择使用户能够操作所显示的内容或图形元素，例如移动内容或者元素、拉伸图像或者图像的部分、放大或缩小屏幕或者屏幕的部分、旋转所选择的内容等。

现在参考图1，其示意性示出了根据本发明的实施方式的系统100。系统100包括用于获取视场（FOV）104的图像的图像传感器103。图像传感器103通常与处理器102和可选地与用于存储图像数据的存储设备107相关。存储设备107可以集成在图像传感器103内，或者可以在图像传感器103的外部。根据一些实施方式，图像数据可以存储在处理器102中，例如在高速缓存存储器中。

视场（FOV）104的图像数据被发送到处理器102以用于分析。在视场104内的用户的手105被检测和跟踪，并且手的姿势或姿态可以由处理器102基于图像分析来识别。根据一些实施方式，系统100可使用多于一个的处理器。