[发明专利]用于中央凹渲染的系统和方法

说明书

在一个实施例中，计算系统可以访问以第一帧速率生成的第一渲染帧。该系统可以基于第一渲染帧，以高于第一帧速率的第二帧速率生成子帧。该系统可以通过以下步骤生成第一子帧：基于传感器数据确定用户的观看方向，基于观看方向确定至少包含用户的中央凹焦点的第一观看区域和排除第一观看区域的第二观看区域，对于第一子帧，使用第一采样分辨率确定对应于第一观看区域的颜色值，以及使用低于第一采样分辨率的第二采样分辨率确定对应于第二观看区域的颜色值。系统可以以第二帧速率输出子帧用于显示。

技术领域

本公开总体涉及人工现实，诸如虚拟现实和增强现实。

背景

人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实或它们的某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕获的内容(例如，真实世界的照片)相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，并且它们中的任何一种都可以在单个通道中或在多个通道中被呈现(例如对观看者产生三维效果的立体视频)。人工现实可以与应用、产品、附件、服务或它们的某种组合相关联，这些应用、产品、附件、服务或它们的某种组合例如用于在人工现实中创建内容和/或在人工现实中使用(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在多种平台上实现，这些平台包括被连接至主计算机系统的头戴式显示器(HMD)、独立的HMD、移动装置或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。

特定实施例的概述

这里描述的特定实施例涉及用于基于用户的中央凹区域在显示器的不同显示区域上以可变分辨率渲染(render)显示内容以减少渲染过程的功耗和计算资源使用的系统和方法。对于显示器，系统可以基于显示区域到显示器上用户凝视点的距离来确定多个显示区域，并且在不同的显示区域中以不同分辨率渲染显示内容。例如，系统可以确定：第一显示区域，其具有整个显示区域的1/4宽度和1/4高度，并且以用户的凝视点为中心(用户的凝视点可以基于最新的眼睛位置来确定)；第二显示区域，其具有整个显示区域的1/2宽度和1/2高度，并且包围但不包括第一显示区域；和对应于显示器的剩余显示区域的第三显示区域。然后，系统可以独立地为不同显示区域的三个颜色通道(例如，RGB)中的每一个确定采样分辨率。例如，系统可以对第一显示区域的所有三个颜色通道使用全采样分辨率，并对第二显示区域和第三显示区域使用降低的采样分辨率(例如，对第二显示区域中的绿色通道使用全分辨率，对红色和蓝色通道使用半分辨率；对第三显示区域中的绿色通道使用半分辨率和对红色和蓝色通道使用四分之一分辨率)。

在特定实施例中，系统可以投射较少的光线来确定分辨率降低的显示内容的图块(tile)/表面对(surface pair)。例如，系统可能对绿色通道使用全分辨率，对红色或蓝色通道使用半分辨率。因此，系统可能需要为每个绿色像素投射一条光线，并且只需要为每四个红色或蓝色像素投射一条光线(代替四个红色像素四条光线和四个蓝色像素四条光线)。因此，系统只需要为四像素区域投射总共六条光线(一条用于红色，一条用于蓝色，四条用于绿色)，而不是十二条。因此，系统将只需要一半的存储器读取带宽和一半数量的计算单元(例如，过滤器块)。系统可以检索图块/表面对的纹理数据(例如，MIP地图纹理数据)，用于确定显示内容的颜色值。由于需要处理的数据较少，系统可以在给定的时钟周期内使用相同数量的资源(例如，过滤器、存储器、计算单元)来处理两倍于全分辨率像素的半分辨率像素，因为减少了纹理存储器读取和数据处理。在特定实施例中，在已经确定颜色值之后，由于像素密度降低，系统可能需要更少的传输带宽来将颜色值发送到显示器的背板。在特定实施例中，系统可以以几种不同的方式生成由于中央凹(foveated)过滤而不是独立计算的颜色值：(1)通过在亮度校正和抖动之前对相邻颜色值插值；(2)通过在将相邻颜色值传输到显示器之后对它们进行插值；或者(3)通过在显示器中复制相邻的颜色值。