[发明专利]混合现实系统

说明书

一种结合混合现实工具(例如，头盔)的计算机实现的方法包括对包围佩戴混合现实输出设备的用户的真实场景进行成像。该方法包括基于成像确定描述真实场景的真实背景的数据；例如，识别或分类场景中的对象、灯光、声音或人物。该方法包括使用各种选择算法，基于描述真实情境的数据，选择包括能够从内容库渲染至少一个虚拟对象的内容的内容集。该方法包括：可选地基于描述真实背景的数据(“情境参数”)，通过混合现实输出设备在混合现实会话中渲染虚拟对象。一种设备被配置为使用硬件、固件和/或软件来执行该方法。

相关申请的交叉引用

本申请要求2016年6月6日提交的序列号为62/346,413的美国临时专利申请的优先权，这些申请通过引用整体并入本文。

技术领域

本公开涉及用于通过计算机配置用于虚拟现实或增强现实输出的数字数据的方法和设备，该方法和设备在几何上和时间上与响应于用户的物理环境的传感器数据确定的用户情境相关参数协调。

背景技术

“虚拟现实”为已经用于模拟在三维(3D)世界中的沉浸的各种类型内容(包括例如，各种视频游戏内容和动画电影内容)的术语。在一些类型的虚拟现实中，用户可以通过控制虚拟摄像头的位置和取向来导航通过基于计算机模型生成的3D环境的模拟，该虚拟摄像头定义在二维显示屏上显示的2D场景的视点。这些技术的变型有时被称为“增强现实”。在增强现实设置中，显示技术示出通过一个或多个数字对象或覆盖“增强”的用户周围环境的组合。增强现实内容可以与关于在用户周围可见的对象或人物的文本“抬头(head up)”信息一样简单，或者像将用户周围环境的整个外观转换成对应于用户的真实周围环境的幻想环境那样复杂。当应用于将来自用户周围环境的真实对象与虚拟对象混合时，虚拟现实(VR)和增强现实(AR)在本文中统称为“混合现实”。

虚拟现实(VR)和增强现实(AR)已经应用于各种类型的沉浸式视频立体演示技术，包括例如立体虚拟现实头盔。头盔和其他演示方法使用户沉浸在3D场景中。头盔中的镜头透镜使用户能够专注于安装在头盔中距离用户眼睛仅几英寸的轻巧分体式显示屏幕。分割显示的不同侧显示视频内容的左右立体视图，而用户的外围视图被阻挡。在另一种类型的头盔中，使用两个单独的显示器分别向用户的左眼和右眼显示不同的图像。在另一种类型的头盔中，显示器的视场包括眼睛的整个视场，包括周边视图。在另一种类型的头盔中，使用可控制的小型激光器、镜子或透镜将图像投影在用户的视网膜上。无论哪种方式，头盔都使用户能够更像沉浸在真实场景中一样体验显示的虚拟现实内容。在增强现实(AR)内容的情况下，观看者可体验增强内容，就好像它为增强真实场景的一部分或放置在增强真实场景中一样。通过包括来自在VR馈送中安装到用户的头盔的立体摄像头对的实时图像数据，并且渲染与实时图像馈送混合的虚拟对象，可以使用虚拟现实头盔来实现类似的效果。

可通过头盔中检测用户头部运动的运动传感器来提供或增强这些沉浸式效果，并且相应地调整视频显示器。通过将他的头部转向一侧，用户可看到虚拟现实场景转向一侧；通过向上或向下转动他的头部，用户可在虚拟现实场景中向上看或向下看。头盔还可包括跟踪传感器，其检测用户头部和/或身体的位置，并且相应地调整视频显示器。通过倾斜或转动，用户可从不同的角度看到虚拟现实场景。这种对头部运动、头部位置和身体位置的响应性极大地增强头盔可实现的沉浸式效果。可向用户提供被放置在虚拟现实场景内或“沉浸”在虚拟现实场景中的印象。如本文所用，“沉浸式”通常包括VR和AR两者。