[发明专利]针对支持多点触摸的设备提供局部坐标系用户界面的方法和装置

说明书

背景技术

作为诸如按钮和滑动条之类的传统的用户界面(UI)元素的替代，通常在支持多点触摸的设备中使用手势以用于调取动作。例如，可以使用扫动手势(在一个位置放下手指并且跨设备地扫动)替代用于执行一些动作(例如翻页)的按钮。另一示例可以是同时放下两个手指，并且使用两个手指之间的距离以应用缩放(更被熟知为“放缩(pinch)”手势)。这些手势以及其他一些常规的手势具有某些共同点。例如，常规地，手势并不知晓使用哪个手指或哪些手指以执行手势。此外，支持多点触摸的设备本身并不知晓使用哪个手指或哪些手指用于手势，并且无法检测使用哪个手指或哪些手指。这些设备并不能将一个手指的按压与另一手指的按压进行区别。此外，常规上，通常使用手势以执行单个动作。

发明内容

描述了针对支持多点触摸的设备提供局部坐标系(coordinate frame)用户界面的方法和装置的各种实施方式。一些实施方式可以在多点触摸显示设备上提供用户界面，该用户界面根据在人类手部周围构建的局部坐标系而显示。在一些实施方式中，用户可以使用自然的手势将所有五个手指(称为食指、中指、无名指和小拇指的四个手指以及大拇指)的指尖放置在多点触摸用户界面上，以提供五个输入点；该方法检测哪个输入点对应于哪个手指，并且基于输入点构建针对手部的局部坐标系。可以称为化身(avatar)的用户界面元素(例如控制)可以继而被指派给每个手指并且在多点触摸显示器上显示。用户可以继而根据期望经由与特定控制相关联的一个或多个手势来选择性地操纵一个或多个显示控制。

在局部坐标系用户界面的操作方法中，可以检测在支持多点触摸的设备上的多指触摸手势(例如四指或五指触摸手势)。支持多点触摸的设备可以是提供多点触摸手势输入机制的任何计算设备。可以根据所检测的多指输入构建针对手部的局部坐标系。显示两个或多个用户界面元素(称为化身)，每个化身被指派给手指中的特定手指并且每个代表与其中实现界面的应用相关的动作或调整。可以检测选择所显示的用户界面元素中的特定元素的事件。选择与特定手指相关联的特定化身的事件例如可以是抬升其他手指。例如，为了选择与大拇指相关联的化身，用户可以抬升除大拇指外的所有的手指。在至少一些实施方式中，可以在用户从支持多点触摸的设备抬升所有手指时维持所显示的化身；用户可以继而通过触摸靠近期望化身的屏幕或在期望化身上的屏幕来选择特定化身。用户可以继而根据与所选用户界面元素(化身)相关的触摸或多点触摸来应用一个或多个动作或调整。

附图说明

图1是根据至少一些实施方式的局部坐标系用户界面的操作方法的高层流程图。

图2A是根据至少一些实施方式的支持多点触摸设备的图形表示，并且示出了用于构建针对手部的局部坐标系的启发式技术，该手部用于应用五指触摸手势以调取局部坐标系用户界面。

图2B显示了根据至少一些实施方式的值的示例阵列或表，该值可以在如图2A和图3中示出的启发式技术中使用。

图3是根据至少一些实施方式的用于构建局部坐标系的启发式技术的流程图。

图4A示出了根据至少一些实施方式的示例局部坐标系用户界面，其中关于用户左手的、用于执行五指触摸手势的五个手指中的每个手指显示单独的控制或化身。

图4B示出了用户可以移动或旋转他们的手部，并且根据触摸点的经更新的定位以及针对手部的之前确定的局部坐标系来调整所显示的用户界面元素。

图4C示出了根据至少一些实施方式使用右手执行五指触摸手势。

图5A图形示出了根据至少一些实施方式的用户抬升除一个手指外的所有手指，在该示例中抬升除了食指外的所有手指。

图5B和图5C示出了根据至少一些实施方式与在所有其他手指提升时留下与多点触敏屏接触的手指对应的控制操纵。

图6示出了根据至少一些实施方式的示例，其中，大拇指可以用于基于多个不同手势执行各种动作，该手势可以在其他四个手指已被提升时由大拇指做出。

图7示出了根据至少一些实施方式的一个示例，其中根据针对手部的向上矢量来定向与手指相关联的所有控制。

图8A示出了根据至少一些实施方式的图示，其中用户已从图7中示出的显示器移开所有五个手指以调取局部坐标系用户界面的持续模式。

图8B示出了根据至少一些实施方式的图示，其中用户已选择并且正在操纵与特定手指相关联的局部坐标系用户界面的特定控制。

图8C示出了根据至少一些实施方式的用户已选择并且正在操纵局部坐标系用户界面的另一控制。