[发明专利]具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法

说明书

一种用于使虚拟内容扭曲的计算机实现的方法包括通过将源虚拟内容进行变换来生成扭曲的虚拟内容。该方法还包括确定与输出参考帧中的扭曲的虚拟内容的X、Y位置对应的存储器位置是否被预先存在的虚拟内容占用。该方法还包括如果存储器位置未被占用，则将扭曲的虚拟内容存储在存储器位置中。此外，该方法包括，如果存储位置被占用，则比较扭曲的虚拟内容和预先存在的虚拟内容的相应Z位置，以识别具有更靠近观看位置的Z位置的虚拟内容。该方法还包括，如果扭曲的虚拟内容的Z位置比预先存在的虚拟内容的预先存在Z位置更靠近观看位置，则将扭曲的虚拟内容存储在与X、Y位置对应的存储器位置中。

技术领域

本公开涉及具有虚拟内容扭曲的混合现实系统，以及使用该系统生成包括扭曲的虚拟内容的混合现实体验的方法。

背景技术

现代计算和显示技术促进了用于所谓的“虚拟现实(VR)”或“增强现实(AR)”体验的“混合现实(MR)”系统的开发，其中数字再现的图像或其部分以其看起来是或可能被感知为是真实的方式呈现给用户。VR情景通常涉及呈现数字或虚拟图像信息而对于实际的现实世界视觉输入不透明。AR情景通常涉及呈现数字或虚拟图像信息作为对于用户周围的真实世界的可视化的增强(即，对于真实世界视觉输入透明)。因此，AR情景涉及呈现数字或虚拟图像信息而对于现实世界视觉输入透明。

各种光学系统在各种深度处生成图像，用于显示MR(VR和AR)情景。在2014年11月27日提交的美国实用专利申请序列号14/555,585(代理人案卷号ML.20011.00)中描述了一些这样的光学系统，其内容通过引用明确且全部并入本文，如同全文阐述。

MR系统通常采用可穿戴显示设备(例如，头戴式显示器、头盔式显示器或智能眼镜)，其至少松散地耦合到用户的头部，并因此在用户的头部移动时移动。如果显示设备检测到用户的头部运动，则可以更新正在显示的数据以考虑头部姿势的变化(即，用户头部的方位和/或位置)。

作为示例，如果佩戴头戴式显示设备的用户在显示设备上观看虚拟对象的虚拟表示，并在该虚拟对象出现的区域周围走动，则可以针对每个视点渲染该虚拟对象，从而给予用户他们在占据真实空间的对象周围走动的感觉。如果头戴式显示设备用于呈现多个虚拟对象，则可以使用头部姿势的测量来渲染场景以与用户动态变化的头部姿势相匹配并提供增加的沉浸感。然而，渲染场景和显示/投影渲染的场景之间存在不可避免的延迟。

能够进行AR的头戴式显示设备提供真实对象和虚拟对象的同时观看。利用“光学透视”显示器，用户可以透视显示系统中的透明(或半透明)元件，以直接观看来自环境中的真实对象的光。透明元件，通常被称为“组合器”，将来自显示器的光叠加在用户的现实世界视图上，其中来自显示器的光将虚拟内容的图像投影在环境中真实对象的透视视图上。相机可以安装在头戴式显示设备上，以捕获用户正在观看的场景的图像或视频。

当前的光学系统，例如MR系统中的光学系统，光学地渲染虚拟内容。内容是“虚拟的”，因为它不对应于位于空间中的相应位置的真实物理对象。相反，虚拟内容当被引导到用户眼睛的光束刺激时仅存在于头戴式显示设备的用户的大脑(例如，光学中心)中。

MR系统尝试呈现照片般逼真的沉浸式MR情景。然而，虚拟内容的生成与所生成的虚拟内容的显示之间的延迟时间，与在延迟时间期间的头部移动相结合，可以导致MR情景中的视觉伪像(例如，毛刺)。在延迟时间期间快速的头部运动加剧了这个问题。

为了解决该问题，一些光学系统可以包括从源接收源虚拟内容的扭曲(warping)软件/系统。然后，扭曲系统对于所接收的源虚拟内容进行“扭曲”(即，变换其参考帧(frameof reference))，以便显示在显示系统/观看者的参考帧(“显示参考帧”)中。扭曲或变换会改变呈现虚拟内容的参考帧。该方法采用最初渲染的虚拟内容，并且转变呈现虚拟内容的方式以尝试从不同的角度显示虚拟内容。