[发明专利]基于头手协同动作的人机交互方法与系统

说明书

公开了基于头手协同动作的人机交互方法与系统。所公开的人机交互方法，包括：响应于用户作出抬头动作，展示控件；响应于对应于手部的光标在控件所在平面的投影进入所述控件的区域，将所述控件设置为待激活状态；响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，将所述控件设置为激活状态。

技术领域

本申请涉及人机交互领域。具体地，本申请涉及通过头部动作与手势协同操作控件进行人机交互的方法与系统。

背景技术

人机交互技术中，控件是用于构建图形用户界面的可重用软件组件。通常，一个控件对应一种功能。例如，图1展示了二维图形用户界面中的“确认”控件。“确认”控件包括提示窗，提示窗中包括“确认”按钮与“取消”按钮。在“确认”控件被调用时，弹出如图1所示的提示窗，识别用户对“确认”按钮或“取消”按钮的点击来获得用户的操作意图，并实现人机交互。现有技术中的滑动解锁技术，通过手部在触摸屏上的滑动向信息处理设备告知用户的输入意图。

新型人机交互技术也在不断发展，基于手势识别的人机交互技术是热点之一。对手部运动的识别，可以通过多种方法实现。来自微软公司的US20100199228A1(公开日：2010年8月5日)提供了利用深度摄像头捕获并分析用户的身体姿态，并将其解释为计算机命令的方案。来自Nintendo公司的US20080291160A1(公开日：2008年11月27日)提供了利用红外传感器和加速度传感器捕获用户手部位置的方案。来自松下电器产业株式会社的CN1276572A提供了使用摄像头对手部进行拍照，然后对图像进行归一化分析，并将归一化得到的图像进行空间投影，并将所得的投影坐标与预先存储的图像的投影坐标进行比较。图2示出了来自天津锋时互动科技有限公司的专利申请CN201110100532.9提供的手势识别与空间位置的感知系统与方法。如图2所示，手势识别系统包含：计算机主机101、多摄像头系统的控制电路102、多个摄像头103、使用者手部104、运行于计算机主机101的应用程序105、应用程序105中的被操作对象106与虚拟手光标107。手势识别系统还包括在图2中未示出的用于照明使用者手部104的红外照明光源以及放置于每个摄像头前的红外滤光片。多个摄像头103捕获使用者手部104的图像，控制电路102对摄像头103采集的手部图像进行处理，并识别手部的姿态和/或位置。此外，现有技术中还有利用数据手套来辅助对手部姿态的识别的方案。在中国专利申请2017100975946与2017101161574中也提供了基于手势的人机交互方案。

发明内容

在基于手势识别的人机交互过程中，需要向用户给出有效的反馈，以向用户告知系统所处的状态，系统对用户的输入的反应，指导用户实施下一步的交互动作，以促进人机交互的完成。设计控件来促进应用程序的开发。控件以头部动作与手势作为输入，而产生事件或消息作为输出。事件或消息可指示用户的“确认”、“取消”、“打开”或“关闭”等操作目的，或指示多种不同含义的用户意图。而且由于人的生物特征决定了用户的手在三维交互空间的轨迹无法实现笔直或者规范的问题，本申请提供技术方案以使信息处理设备有效地理解用户动作的意图。

菜单是人机交互技术中常用的控件。菜单通常包括多个菜单项，完全展开的菜单会占用较大的空间或面积。在虚拟现实系统中，缺少有效的基于手势的操作菜单控件实现人机交互的方案。

除了菜单，还需要其他类型的控件组。在控件组中提供多个控件的实例。控件组中的控件具有相同或不同的类型。需要控件组为人机交互提供最大的便利性。需要合理提供控件组及其操作方式，以便于在人机交互中使用控件组，来接收用户意图，并向用户给出对操作效果或进展的反馈。

对控件组的呼出也是本申请要解决的问题之一。仅在使用时向用户展示控件组是有利的。在控件组不被使用时，隐藏控件组，以充分利用人机交互系统的视觉空间为用户提供其他服务。在需要使用控件组时，提供便捷而可靠的手段允许用户呼出控件组。