[发明专利]基于应用程序渲染性能的预测和限流调整

说明书

本文描述的是基于应用程序的渲染性能，在将帧渲染到头戴式显示器(HMD)上时调整预测水平和限流水平的技术。如果在过去的N个渲染帧(N为任何合适的数量)中后到帧的数量达到或超过后到帧的阈值数量，则增加预测水平，这使HMD的合成器预测将来更远的HMD的姿态数据。可以独立于预测水平的增加或与预测水平的增加同步地增加限流水平，以使合成器限流应用程序的帧速率(例如，至HMD刷新率的一个分数)。如果特定数量的连续渲染的帧提早完成渲染，则可以降低预测水平(如果处于相同水平，则可以降低限流水平)。

相关申请的交叉引用

这是PCT申请，其要求2018年8月6日提交的名称为“基于应用程序渲染性能的预测和限流调整”的美国专利申请序列号16/056,277的优先权，在此通过引用将其全部内容合并于此。

背景技术

在视频游戏行业内外都使用虚拟现实(VR)系统。用于VR系统的显示器，如嵌入在VR头戴式耳机中的显示器通常以适合于VR应用程序的最小刷新率操作。例如，90赫兹(Hz)是VR显示器的常用刷新率。在“实时渲染”场景中，基于图形的应用程序，如视频游戏以与显示器的刷新率匹配的帧速率输出用于渲染的帧，这意味着在每次屏幕刷新时显示从应用程序接收到的新帧(本文中被称为“实际帧”)。此类实时渲染场景通常被称为应用程序“形成帧速率”或“达到帧速率”。

实际上，由于各种原因，应用程序并不总是能形成帧速率。例如，应用程序可以间歇性地丢弃帧，和/或应用程序可以以较慢的速率(例如，当理想帧速率为90帧/秒时，以45帧/秒)临时输出帧。在应用程序未形成帧速率的情况下，可以使用一种被称为“仅旋转重投影”的技术以考虑用户头部旋转的方式用重投影的帧替代丢失的帧，使得看起来对用户来说就如同应用程序正在形成帧速率一样。例如，如果没有重投影，则来自应用程序的不足帧速率可能会导致游戏中的卡顿或中断。在VR应用程序中，在用户完全沉浸在虚拟环境中的情况下，如果应用程序未能形成帧速率并且没有重投影来补偿丢失的帧，则用户可能会感到恶心。因此，重投影是一种在应用程序未形成帧速率时允许有更好的用户体验的技术。考虑应用程序以理想帧速率的一半(例如，45帧/秒，其中90帧/秒是理想帧速率)输出帧的实例。在此实例中，可以使用来自最近渲染的实际帧的像素数据对每个其它帧进行重投影，以创建重投影的帧，所述重投影的帧转换场景(例如，通过旋转和重投影计算)以使重投影的场景与用户当前的头部朝向匹配。这使得看起来对用户来说就如同场景以给定用户头部旋转的预期方式移动一样。

尽管仅旋转重投影减轻游戏中的卡顿或中断，但其在头部旋转期间至少在使用低持续性显示器的VR系统中(例如，在显示器在一小部分帧时间内被照亮的情况下)会产生其自己不想要的视觉伪像。例如，尽管仅旋转重投影解决了头部旋转的问题，但它没有考虑场景中帧之间移动或设置动画的对象。对于移动或设置动画的对象，这可能导致发生不想要的视觉伪影，称为“抖动”。抖动使用户感觉到“双重重影效果”，其中运动对象(例如，穿越屏幕移动的子弹或球)似乎在两个位置(或与自身分离)帧与帧之间反弹。因此，当用户在使用重投影的同时旋转他/她的头部时，场景中的任何移动或动画对象将抖动。由于应用程序的渲染性能是不可预测的，因此应用程序的帧速率趋于与显示器的垂直同步(VSync)信号以不同量和在随机时间发生进出相位的移动，并且上述运动对象的抖动对观看用户可能变得不稳定且无法忍受。

本文提供改进和增强这些系统和其它系统的技术解决方案。

附图说明

参考附图描述具体实施方式。在图中，附图标记的最左边的一个或多个数字标识附图标记首次出现的图。在不同附图中使用同一附图标记指示类似或相同的组件或特征。

图1是示出了用于基于应用程序的渲染性能来调整预测和限流水平的示例技术的图。

图2是从概念上示出了可用于存储与应用程序的渲染性能有关的统计信息的示例环形缓冲区的图，该统计信息可用于确定是否以及何时调整预测和限流水平。