[发明专利]与3D表面上的2D内容进行交互

说明书

背景

在2维(2D)环境中，系统通过简单地确定活动的X和Y坐标，可以 知道用户选择了什么区域或以其它方式与什么区域交互。然而，在3维(3D) 世界中，寻找相对于3D表面上的交互式2D元素的X/Y坐标并不总是直截 了当的。例如，诸如用户界面等2D对象可被置于诸如球面等3D表面上。 在这种2D对象被置于3D表面的情况下，可能难以处理用户与该现在投影 在3D中的2D对象的交互。

概述

公开了启用与置于3D表面上的2D内容进行交互的各种技术和方法。 系统确定输入设备相对于3D表面定位在何处。如果输入设备撞击3D表面， 则定位2D中的隐藏内容以使表示在3D表面上撞击的区域的点与2D中的 隐藏内容上的对应的点排齐。在一个实现中，在场景中的一位置处检测到 不在交互式2D内容的边界的上方的输入设备时，在接收到对该输入设备位 置的请求时，3D表面被投影到2维中。在所投影的3D表面上计算最接近 输入设备的2D位置的点。响应于被用来定位隐藏内容，向该最接近的点提 供3D表面的对应的点。

在一个实现中，取决于特定3D表面是否具有捕捉来遵循不同的过程。 例如，如果3D场景中的3D表面不具有捕捉，并且如果输入设备撞击3D 表面，则在3D三角形上使用纹理坐标来确定在2D中的隐藏内容上撞击了 什么点。隐藏内容随后被移动到一位置，以使得隐藏内容与3D表面上的对 应点排齐。类似地，如果3D场景中的3D表面具有捕捉，并且如果确定输 入设备用该捕捉内容撞击3D表面，则使用纹理坐标和先前所述的过程来排 齐隐藏内容。

在另一实现中，如果3D场景中的3D表面具有捕捉，并且如果确定输 入设备未用捕捉内容撞击3D表面，则系统计算捕捉内容的边界，寻找边界 上最接近输入设备的位置的点，并将边界上该最接近的点置于输入设备的 位置的下方。

提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一 些概念。该概述不旨在标识所要求保护的主题的关键特征或必要特征，也 不旨在用于帮助确定所要求保护的主题的范围。

附图简述

图1是一个实现的计算机系统的图示。

图2是在图1的计算机系统上操作的一个实现的交互式3D应用程序的 图示。

图3是图1的系统的一个实现的高级处理流程图。

图4是图1的系统的一个实现的处理流程图，其示出在用3D对象提供 输入设备位置时所涉及的各阶段。

图5是图1的系统的一个实现的处理流程图，其示出在启用与置于3D 表面上的2D内容的交互时所涉及的更详细的阶段。

图6是图1的系统的一个实现的模拟图像，其示出在没有捕捉时隐藏 内容的2D表示。

图7是图1的系统的一个实现的模拟图像，其示出在没有捕捉时与隐 藏内容交互的3D表面。

图8是图1的系统的一个实现的模拟图像，其示出在没有捕捉时覆盖 在3D表面上的2D表示。

图9是图1的系统的一个实现的模拟图像，其示出在存在捕捉时显示 按钮和文本的3D表面。

图10是图1的系统的一个实现的模拟图像，其示出在存在捕捉时选择 文本的一部分的图9所示的3D表面。

图11是图1的系统的一个实现的模拟图像，其示出其中预期输入设备 与图10所示的3D表面的方位上的2D相关的最接近的边点。

图12是图1的系统的一个实现的模拟图像，其示出具有捕捉的2D文 本框。

图13是图1的系统的一个实现的模拟图像，其示出获得图12的图像 的边并将这些边投影回2D来以2D形式在3D上给出2D内容的轮廓。

详细描述

为促进对本发明的原理的理解，现将对图中所示的各实施例加以参考， 同时也将用具体语言描述它们。不过，需要理解的是，并无意由此作范围 上的限制。在所述实施例中的任何改变和进一步更改，以及在此所述的原 理的进一步应用都可以预期将是本领域技术人员通常能想到的。

该系统可以在一般上下文中描述为提供与置于3D表面上的2D内容的 交互的应用程序，但是该系统还用于除此之外的其它目的。在一个实现中， 此处所描述的一种或多种技术可被实现为图形呈现程序内的特征，诸如包 括在诸如等操作系统环境中或来自处理图形 呈现的任何其它类型的程序或服务中的那些特征。在另一实现中，此处所 描述的一种或多种技术被实现为处理允许2D内容与3D表面一起使用的其 它应用程序的特征。