[发明专利]附连控制元素的混合环境显示

说明书

本文中所描述的技术提供了附连控制元素的混合环境显示。本文中所公开的技术允许第一计算设备的用户与被配置成控制对象(诸如灯、家电、或任何其它合适的对象)的远程计算设备交互。本文中公开的各配置中允许第一计算设备通过捕捉和分析定义一个或多个手势(诸如用户看着由第二计算设备控制的对象)的执行的输入数据来导致一个或多个动作(诸如对对象的选择或用户界面的显示)。被配置成实现对对象的控制的经渲染的图形元素可与对象的现实世界视图一起被显示。

背景

连接互联网的设备的使用在日常生活中的许多方面都变得普遍。这类设备允许用户从远程位置控制几乎任何东西以及与其通信。例如，连接互联网的设备可被用于控制家电、灯具、温度调节装置、汽车、以及安全系统。许多不同的产业已经展示了连接互联网的设备可被使用的各种创意方式。

虽然现有技术提供了许多益处，但是连接互联网的设备的产品设计者仍然面临许多挑战。例如，由于对寻找这类设备的可承受性和普及性的节能、低成本方案的需求，这类设备并不普遍地采用昂贵的用户接口组件，诸如显示屏、触摸屏之类。在缺少这类接口组件的情况下，通用设计可包括使用Web服务器软件，这类Web服务器软件使得用户能够从操作Web浏览器的远程计算机处与设备交互。这类配置使得用户能够通过网页接收并查看状态信息并且向设备发送控制命令。

虽然基于Web的接口方案比显示屏和触摸屏更便宜，但是基于Web的接口方案并不总是提供与这类设备交互时的积极的用户体验。例如，当用户被要求与大量设备交互时，管理任务可能是特别困难的。如果用户正管理数以百计的连接互联网的设备，则他或她被要求为每一个设备维护Web地址记录并且独立地导航到每一个设备。另外，考虑到通用设计的低成本属性，连接互联网的设备所生成的大部分用户界面并不提供对于控制按钮和状态数据的最优的布局。

本文所做出的本公开正是关于这些和其它考虑事项而提出的。

概述

本文中所描述的技术提供了附连控制元素的混合环境显示。各配置允许第一计算设备的用户与被配置成控制对象(诸如灯、家电、或任何其它合适的对象)的远程计算设备交互。在一些配置中，第一计算设备通过捕捉和分析定义一个或多个手势(诸如用户看着由第二计算设备控制的对象)的执行的输入数据来导致一个或多个动作(诸如对对象的选择或用户界面的显示)。在一些配置中，被显示的用户界面包括被配置成控制对象的图形元素，并且图形元素可与对象的现实世界视图一起被显示。图形元素可被配置成指示对象的现实世界视图和所显示的内容(例如，状态数据和控制按钮)之间的关联。图形地附连的用户界面元素的渲染以及对象或对象的组件的视图使得用户能够容易地标识观察的对象和所显示内容之间的关联。

在一些配置中，第一计算设备(诸如头戴式显示器(HMD))可包括硬件显示表面，该硬件显示表面被配置成创建使得用户能够透过硬件显示表面查看对象的透明部分。另外，硬件显示表面被配置成在透过硬件显示表面看到的对象上和周围显示经渲染的图形元素。第一计算设备可获得定义用于控制第二计算设备的一个或多个命令的控制数据。第二计算设备可以例如被配置成控制对象，诸如家电、灯具、车库门开启器、或能够由设备或组件控制或影响的任何其它物体。

第一计算设备可随后在硬件显示表面上显示包括一个或多个命令的图形元素。图形元素可与由第二计算设备控制的对象的现实世界视图一起透过硬件显示表面的透明部分显示。另外，图形元素可显示从第二计算设备接收的状态数据。第一计算设备还可解释由用户执行的手势或输入以生成定义输入命令的数据。第一计算设备还可将定义输入命令的数据传递给第二计算设备。第二计算设备可响应于接收输入命令来控制对象。

第一计算设备还可使得用户能够通过执行一个或多个自然手势或其它形式的输入来选择远程计算设备。例如，用户可通过透过第一计算设备的硬件显示表面看着第二计算设备或由第二计算设备控制的对象来选择第二计算设备。一旦第二计算设备被选择，第一计算设备以及许多不同动作可发起与第二计算设备的通信和/或通过与第二计算设备的通信来控制对象。