[发明专利]具有人工现实内容的变焦显示的人工现实系统

说明书

本公开描述了用于向用户提供人工现实内容的人工现实系统和技术。例如，人工现实系统包括：被配置为输出人工现实内容的头戴式显示器(HMD)，该HMD包括：被配置为捕获指示用户的注视的焦点的图像数据的一组第二图像捕获设备和具有基于用户的焦点可修改的焦距的变焦显示器。此外，该系统包括深度引擎，该深度引擎被配置为基于真实世界图像数据和与真实世界图像数据相关联的深度数据来生成用户的物理环境的三维(3D)场景并且基于用户的焦点来生成人工现实内容作为对物理环境的3D场景的覆盖，以显示在HMD的变焦显示器上。

技术领域

本公开一般涉及人工现实系统，诸如增强现实、混合现实和/或虚拟现实系统。

背景技术

人工现实系统正变得越来越普遍，应用在许多领域，诸如计算机游戏、健康和安全、工业和教育。举几个示例，人工现实系统正在被合并到移动设备、游戏机、个人计算机、电影院和主题公园中。一般而言，人工现实是在呈现给用户之前以某种方式进行了调整的现实形式，其可以包括例如虚拟现实、增强现实、混合现实、混合的现实或其某种组合和/或衍生物。

典型的人工现实系统包括用于向用户绘制和显示内容的一个或多个设备。作为一个示例，人工现实系统可以合并由用户佩戴并被配置为向用户输出人工现实内容的头戴式显示器(HMD)。人工现实内容可以完全包括由系统生成的内容，或者可以包括与所捕获的内容(例如，真实世界的视频和/或图像)相组合所生成的内容。

发明内容

一般而言，本公开描述了一种人工现实系统，包括被配置为向用户提供视觉上准确的人工现实内容的变焦头戴式显示器(HMD)。例如，人工现实系统可以被用来提供直通或混合现实(MR)体验，其中基于HMD的用户正在观看何处而以每帧不同的焦深来重建真实世界的图像数据。与其中真实世界的图像数据是用大景深(例如，聚焦在无穷远处)捕获和重建的当前直通系统相比，变焦HMD和图像处理技术的结合可以提供更逼真的三维(3D)体验并减少辐辏调节(vergence-accommodation)冲突。在其他示例中，变焦头戴式显示器和图像处理技术可以被用来提供虚拟现实(VR)体验或增强现实体验。

在人工现实系统提供直通或MR体验的一个或多个示例中，变焦HMD可以包括：至少一个直通相机，其被配置为以彩色(例如，RGB)并且以高分辨率捕获真实世界图像数据；眼睛跟踪相机，其被配置为捕获用户的瞳孔的移动；以及显示面板，其被配置为相对于HMD的目镜内的一个或多个透镜进行机械移动。此外，变焦HMD可以包括深度传感器和/或双内外(inside-out)相机或立体内外相机，其被配置为捕获与由直通相机所捕获的真实世界图像数据相对应的深度数据。在一些示例中，变焦HMD可以包括用户的每只眼睛一个内外相机。

根据所公开的技术，AR系统可以执行图像处理技术以使用所捕获的深度数据来生成真实世界场景的三维网格，并且将使用从直通相机中捕获的真实世界图像所生成的纹理数据覆盖或覆盖到3D网格上以创建虚拟场景，以便显示在具有真实深度的HMD上。

一旦生成了虚拟场景，本文描述的技术修改虚拟场景在HMD上被显示给用户的方式，以便模仿与虚拟场景相对应的用户在聚焦在真实世界环境中的特定对象时将体验到的视觉效果。例如，HMD的一个或多个眼睛跟踪相机可以捕获焦点数据，该焦点数据包括用户的瞳孔相对于一组参考点的位置。使用焦点数据，AR可以实时或近实时地移动变焦显示器的焦点以匹配用户的所标识的焦点。此外，AR系统可以被配置为应用深度模糊或散焦过滤器来模糊虚拟场景中表示的、在HMD的用户的所标识的景深之外的对象。