[发明专利]使用多表面显示协议传送表面数据的人工现实系统

说明书

本公开描述了片上系统(SOC)集成电路之间表面纹理数据的有效传送。一种示例系统包括第一集成电路和通过通信接口通信耦合到第一集成电路的至少一个第二集成电路。第一集成电路在确定要由第二SoC集成电路渲染以供显示的帧的表面纹理数据要被更新时，(a)使用通信接口在一个或更多个更新分组中将表面纹理数据传输到第二集成电路，以及(b)使用通信接口将指示已经更新了帧的表面纹理数据的命令传输到第二集成电路。第二集成电路在接收到该命令时，(a)设置指向显示缓冲器中存储该帧的表面纹理数据的位置的指针，以及(b)渲染该帧的表面纹理数据以在显示设备上显示。

本申请要求2019年11月4日提交的美国临时专利申请第62/930,499号和2020年1月14日提交的美国非临时专利申请第16/742,744号的权益，这两个申请的全部内容通过引用并入本文。

技术领域

本公开总体上涉及人工现实系统，例如增强现实、混合现实和/或虚拟现实系统。

背景

人工现实系统正变得越来越普遍，应用于许多领域，例如计算机游戏、健康和安全、工业和教育。作为几个示例，人工现实系统正在被合并到移动设备、游戏机、个人计算机、电影院和主题公园中。通常，人工现实是在呈现给用户之前已经以某种方式调整的现实的形式，其可包括例如虚拟现实、增强现实、混合现实、混杂现实(hybrid reality)、或其某种组合和/或衍生物。

典型人工现实系统包括用于渲染和向用户显示内容的一个或更多个设备。作为一个示例，人工现实系统可合并头戴式显示器(HMD)，该HMD由用户佩戴并且被配置为向用户输出人工现实内容。人工现实内容可以完全包括由系统生成的内容，或者可以包括与捕获的内容(例如，真实世界视频和/或图像)相结合的生成的内容。在操作期间，用户通常与人工现实系统交互以选择内容、启动应用、配置系统，并且通常体验人工现实环境。

概述

总的来说，本发明描述了人工现实(AR)系统和技术，其使用被设计用于传输视频数据的通信协议来传送非视频表面数据，以便于当在多设备AR系统内创建人工现实(AR)场景时改变表面数据的处理和显示方式。示例多设备AR系统包括其中外围设备在与一个或更多个头戴式显示器(HMD)配对时作为协同处理AR设备操作的系统。例如，如本文进一步描述的，外围设备和每个HMD可以各自包括一个或更多个片上系统(SoC)集成电路(本文中称为“SoC”或“SoC集成电路”)，这些集成电路被共同配置以提供人工现实应用执行环境。

包括头戴式显示器(HMD)的人工现实(AR)系统的各种示例，在低功率模式下，使用视频数据通信协议将原始表面(或纹理)数据从AR中央处理片上系统(SoC)集成电路中的存储器传送至显示器SoC集成电路上的显示缓冲器，如下所述。

通常，显示缓冲器由主处理电路控制，显示器从该缓冲器接收待显示的视频数据。因此，显示器需要不断地从缓冲器刷新，因为显示器不在存储器中存储任何视频数据。这需要在活跃的高功率传输模式(有时被称为“视频模式”)下使用视频数据通信协议进行频繁通信。

如下所述，AR系统利用了并非所有要显示的表面都在每个视频帧中更新的事实。要显示的一些表面纹理是动画的，并且经常改变。例如，与玩家化身相关联的表面纹理可以具有随着每个视频帧而改变的动画。然而，一些要显示的表面纹理是静态的，不经常改变。例如，与海报或其他装饰相关联的表面纹理在AR场景期间可能不会改变。本公开以两种方式利用了这一点。

首先，显示缓冲器位于显示器SoC集成电路内，而不是AR中央处理SoC集成电路内。这个显示缓冲器是一个双缓冲器。当前AR场景的各种表面纹理存储在显示缓冲器内的特定位置。与表面相关联的纹理指针指向存储器中与第一缓冲器中的纹理相关联的位置或者存储器中与第二缓冲器中的纹理相关联的位置。可以更新存储器中未被指向的位置。纹理指针在纹理更新后切换，以便更新的纹理将出现在下一个视频帧中。