[发明专利]用于定时输入感测、渲染和显示以便最小化时延的系统和方法

说明书

公开了用于降低触敏设备中获得触摸数据与处理相关联的渲染任务之间的时延的系统和方法，所述触敏设备具有能够以触摸采样速率产生触摸数据的触摸感测系统并且具有以刷新速率显示帧的显示系统。在实施例中，所述系统估计以下各项中的至少一项：(a)用于从所述触摸感测系统中采样触摸数据的时间段、(b)用于从采样的触摸数据中计算触摸事件数据的时间段、以及(c)用于将帧渲染到帧缓冲器的时间段。所述系统至少部分地基于所述估计来确定用于以下各项的时间段Tc：(a)从所述触摸感测系统中采样触摸数据，(b)从所采样的触摸数据中计算触摸事件数据，以及(c)将帧渲染到帧缓冲器。所述系统确定所述显示系统将从所述帧缓冲器中刷新的时间点Tr。至少部分地基于Tr和Tc计算采样开始时间。创建对所述触摸感测系统进行采样，以便在所述采样开始时间处获得采样的触摸数据。从所述采样的触摸数据中计算触摸事件数据，并且在所述时间Tr之前将反映所述触摸事件数据的帧渲染到所述帧缓冲器。然后从所述帧缓冲器中刷新所述显示器。

技术领域

本申请整体涉及用于定时输出感测、渲染和显示以便最小化时延的系统和方法。

背景技术

可以将交互设备看作多个部件的组成，包括输入感觉、处理和渲染任务、以及输出显示。将输入感觉(例如，手指触摸)转换成视觉响应所需要的管道不是即时的；每个动作产生针对许多原因的时延，如处理信息所需要的时间或者在显示器情况下显示器用来重画其整个屏幕或其部分的频率。这样，即使这些动作并行工作，当可能时，系统也仅仅与动作中最慢的动作一样快。例如，显示器仅每60Hz刷新一次，这意味着，如果在下一个刷新循环之前，其他所有都是快速的(或可用的)，则系统被迫等待显示器准备显示新信息。

本发明的目标是降低时延(也就是说，用户对系统的输入与系统的响应于该输入的图形之间的时间)。通过将输入捕获和处理与显示器刷新同步来使能够显示最近的输入信息也是目标。目前，尽可能快地处理任何输入信息，并且经常将所述输入信息留下等待下一个刷新循环。这单独产生等待周期，并且反映在整个系统时延中。根据目前公开的方法的实施例，系统考虑何时进行下一次刷新并将其考虑在内以便及时提供最新事件以供进行渲染。

发明内容

在实施例中，刷新显示器的时间以及采样输入传感器和计算触摸点所需要的时间是已知的。由此，输入感测被延迟以便在刷新将要开始的同时结束。在实施例中，渲染在最不可能的时刻开始，从而使得其完成，并且输出为下一个显示器刷新做好准备。这种及时渲染将访问最近的输入事件；由此，所产生的显示将包括具有最小量的时延的图形。

在另一个实施例中，刷新的时间或采样输入传感器的时间先验地未知，并且需要测量。基于密钥时间戳执行测量，并且这允许我们确保时间顺序和序列。通过测量，输入采样速率和显示器刷新速率变得已知，并且对图形的渲染可以被定时为以上概述的那样，以便最小化时延。

在另一个实施例中，使用外部测量用具和用户输入(或定义为常量)来检测这种测量。

在另一个实施例中，这些测量根据系统工作量变化并且测量不精确，但是仅仅尝试降低显示器的时延。渲染输出所需要的时间是输出复杂度和计算系统活动的函数(越复杂的输出通常需要越多的时间来渲染，CPU或GPU上的计算活动可以减慢渲染，等等)。在此实施例中，系统基于以下各项中的一些组合来估计渲染时间：输出复杂度的模型；密钥系统部件上的计算活动的知识；渲染前一帧所需要的时间；以及渲染过去类似的输出所需要的时间。

在另一个实施例中，一旦显示器完成其垂直刷新并且适当的缓冲器可用于渲染，系统就渲染输出。在完成渲染后，并且直到下一个垂直刷新，系统基于由输入传感器采样的附加输入事件来更新此渲染。例如，系统可以渲染GUI的视图并且然后基于附加输入事件将其转换，直到必须显示所述渲染的时间。

附图说明