[发明专利]通过追踪用户视线和姿态提供反馈的系统和方法

说明书

技术领域

本发明涉及基于与计算机系统产生的用户界面的用户交互，提供反馈，其中所述计算机系统基于多个用户输入，例如，追踪的用户视线和用户姿态。

背景技术

便携式或者家庭的视频游戏机、便携式或台式个人计算机、机顶盒、音频或视频消费性设备、个人数字助理、移动电话、媒体服务器、和个人音频和/或视频播放器和录制设备，以及其他类型的能力正在提高。这些设备具有巨大的信息处理能力、高品质音频和视频输入和输出、大存储量，以及也可以有线和/无线上网能力。

这些计算设备通常需要独立的控制装置，例如鼠标或游戏控制器，从而与计算设备的用户界面交互。用户通常使用显示在用户界面上的指针或其他选择工具，通过推动控制设备的按钮来选择对象。用户也使用控制设备来修改和控制这些选择的对象，例如通过按下控制设备上的其他按钮或者移动所述控制设备。通常需要培训来教用户这个设备的移动如何映射到远程用户界面对象。即使培训后，用户有时候还是会发现这些移动很笨拙。

目前，微软公司（MICROSOFT）销售的KINECT 设备允许用户控制电脑游戏机，并与之交互，而不需要使用游戏控制器。用户利用姿态和口头指令，通过KINECT设备与用户界面交互。具体地，KINECT 设备包括摄像头、深度传感器、和麦克风，来追踪用户的姿态和口头指令。利用摄像头和深度传感器来产生用户的三维模型。然而，KINECT设备只是识别有限的姿态类型，用户可以控制指针指向，但KINECT设备不允许用户点击指针，需要用户悬停几秒钟来进行选择。

发明内容

以下发明内容在于提供本发明特征各方面的基本了解。该发明内容不是本发明的广泛概述，同样地，也不在于确定本发明的关键元件，或者描述本发明的范围。本发明内容的目的只是在于以简要的形式提出本发明的一些概念，以作为以下详细描述的前奏。

根据本发明的一方面，本发明公开了一种计算机系统，该计算机系统包括：处理器，该处理器接收视线数据和姿态数据，确定对应于所述视线数据的用户界面位置，使所述姿态数据与所述用户界面的修改相关联；存储器，该存储器与所述处理器连接，以存储所述视线数据和姿态数据。

所述姿态数据可以为手部姿态数据。

视线数据可以包括与所述用户界面交互的用户眼睛的多个图像。所述视线数据可以包括光的反射。所述光可以为红外线照射。

所述姿态数据可以包括与所述用户界面交互的用户身体的多个图像。所述姿态数据也可以包括深度信息。

根据本发明的另一方面，本发明公开了一种系统，该系统包括：显示器，该显示器显示包括对象的用户界面；视线传感器，该视线传感器捕捉眼睛视线数据；姿态传感器，该姿态传感器捕捉用户姿态数据；计算设备，该计算设备与所述视线传感器、所述姿态传感器、和所述显示器连接，其中所述计算设备为所述显示器提供所述用户界面，并基于所述视线数据确定用户是否看着所述对象，将所述姿态数据与对应于所述对象的命令关联，以及基于命令修改包含所述对象的所述用户界面的显示。

所述命令可以为所述对象的移动。

所述视线数据可以包括眼睛视线数据眼睛视线位置和至少一个以下数据：眼睛位置、所述视线传感器与所述眼睛的距离、瞳孔大小、和时间戳。

所述视线传感器可以包括摄像头和光源。所述姿态传感器可以包括摄像头和深度传感器。所述姿态传感器可以包括至少一个陀螺仪和至少一个加速计。

根据本发明的另一方面，一种方法包括：在显示器上显示用户界面；接收与所述用户界面交互的用户的视线数据；基于所述视线数据，确定所述用户的视线是否对着所述用户界面中显示的对象；接收对应于所述用户的姿态的姿态数据；将所述用户与所述对象的预期交互与所述姿态数据关联；基于关联的交互，修改所述用户界面中的所述对象的显示。

所述视线数据可以包括眼睛视线数据眼睛视线位置和至少一个以下数据：眼睛位置、所述视线传感器与所述眼睛的距离、瞳孔大小、和时间戳。

在确定所述用户的视线是否对着所述对象之前，所述姿态数据可以与所述用户的预期交互关联。

所述对象的显示的修改可以包括移动所述用户界面中所述对象的相对位置。

所述姿态数据可以包括相应于手部姿态的信息。

根据本发明的另一方面，本发明公开了一种计算机可读存储介质，具有存储在其上的计算机可执行指令，执行时，使计算机系统执行上述方法。

附图说明