[发明专利]基于自然姿势的用户接口方法及系统

说明书

背景技术

本发明涉及基于自然姿势的用户接口方法和系统，尤其涉及用于导航和控制计算机化系统的基于自然姿势识别的用户接口。

计算机视觉技术已发展到可获得实时精确三维场景测量的状态。这些场景测量允许图像处理系统计算和提供新的输入种类，诸如可能的物体/用户与系统交互，其中输入交互涉及所观看的场景内的视场中的物体/用户的运动和/或姿势。

若干种类的用户接口设备和方法当前可用。除诸如鼠标、操纵杆、计算机键盘、触摸屏或红外遥控技术之类的接口设备之外，最新的技术是基于三维成像或感测系统，这种系统检测且使得有可能建模和仿真场景中的人体。诸身体部位（例如，手）可从仿真中提取，且它们可典型地被随时间而监控其位置。因而手可用于执行姿势，这些姿势可由成像或感测系统识别。这些姿势旨在发起触发事件和/或提供连续输入数据至根据所接收的输入进行交互的计算机接口。

对现有技术的描述

WO-A-2009/042579描述了一种基于姿势的导航系统，其用于利用经识别用户的表示周围的定制图标来控制通信会话。提供了用于语音和视频通信的增强接口，其中从一系列相机图像中识别用户的姿势。还提供了包括用户的控件和表示的用户接口。该方法涉及使用图像处理执行姿势识别以触发控件输入的导航接口和系统。例如，可通过识别由用户的表示所做出的约定姿势将电信会话状态从待机状态改变至呼叫或菜单状态。

WO-A-2009/035705、WO-A-2009/108894和WO-A-2004/070595描述了其它基于姿势的导航系统。在WO-A-2009/035705中，公开了在三维环境中利用交互显示器处理基于姿势的用户交互的简单系统和方法。该显示器利用可与系统交互的图标来表示用户的手。

在WO-A-2009/108894中，描述了使用用户的经识别姿势进行的增强输入。用户的表示被显示在控件的中心区域，该控件进一步包括关于中心区域径向设置的交互元件。增强的输入还包括基于用户的经识别姿势与控件进行交互，以及基于与控件的交互来控制应用。交互元件可采用一系列图标的形式，这些图标是通过手、眼或身体运动使用用户的表示的范围广泛的姿势来选择的，例如，从手指到面部表情的姿势。

在WO-A-2004/070595中，公开了一种设备和方法，其利用姿势交互地控制在图像表示装置的图形用户接口的图像中的鼠标指示器。该设备包括用于生成辅助图像的摄影机、处理辅助图像的图像数据的图像处理设备以及用于反射辅助图像的镜单元。还提供了分析单元，用于检测由摄影机捕获的物体并确定所检测的物体在辅助图像中的瞬时位置。鼠标控制机制连接至分析单元并且根据相应确定的瞬时位置在图像表示装置的图像内表示和移动鼠标指示器，且与镜单元连接的混合和/或交叉淡入淡出（cross-fading）设备被配置成在图像表示装置的图像中以部分透明的方式将主图像与由镜单元获得的经反射辅助图像叠加。

WO-A-2010/126714描述了来自用户接口的用户反馈。在此，捕获设备被用于捕获用户的运动，且一设备被提供用于显示映射到用户的运动的模型。姿势被用于控制用户接口。然而，用户可能不熟悉映射其运动的系统或者可能不知道什么姿势可用于正在执行的特定应用，因而不知道如何执行可用于正在执行的应用的姿势。向用户提供表示指令性姿势数据的视觉反馈可教导用户如何做出正确的姿势。可按任何数量的适当方式来提供视觉反馈。例如，可使用重影的图像、玩家化身或骨架表示来提供视觉反馈。系统还可处理用于显示表示指令性姿势数据的视觉反馈的预先记录的内容或实况内容。视觉反馈可描绘用户的实际位置与理想姿势位置之间的差异。

WO-A-2010/03482描述了用于操作计算机化系统（典型地虚拟键盘）的方法，其中在显示屏上呈现用户接口元件。由用户的身体部位在三维空间中做出的第一姿势被检测到，且响应于该第一姿势，由用户通过指示而预先选择的显示屏的区域被标识。于是提高了在显示屏上的选定区域中出现的用户元件中的一个或多个的放大水平。在提高放大水平之后，由用户的身体部位做出的第二姿势被检测到以便从用户接口上出现的那些元件中选择预先选择的元件。第三姿势降低了用户接口元件的放大水平。