[发明专利]使用异构处理器为应用程序提供低潜伏时间的系统和方法

说明书

本发明公开用于响应请求的方法、装置和计算机可读介质。一种响应请求的方法可包括接收包括回调函数的请求。所述一个或多个请求可接收于与第一类型的处理器相关联的第一存储器中，所述第一类型的处理器可为CPU。所述请求可被移动至第二存储器。所述第二存储器可与第二类型的处理器相关联，所述第二类型的处理器可为GPU。GPU线程可在所述请求的数量为至少阈值数量时处理所述请求，以便确定所述请求的结果。所述方法可包括将所述结果移动至所述第一存储器。所述方法可包括所述CPU利用所述对应结果来执行所述一个或多个回调函数。GPU持久线程可检查请求的数量，以便确定何时达到请求的阈值数量。

相关申请的交叉引用

本申请要求2012年6月8日申请的美国临时专利申请序列号61/657,404的优先权，所述申请的完整内容特此以引用方式并入，如同完全阐明一样。

技术领域

本发明的实施方案涉及为应用程序提供低潜伏时间(latency)，并且更具体来说，涉及使用异构处理器提供低潜伏时间。

背景

一些计算机系统包括多于一种的处理器类型。例如，一些计算机系统包括一个或多个中央处理器单元(CPU)(即，第一处理器类型)和许多外围处理器(即，不同或第二处理器类型)。外围处理器常常为图形处理单元(GPU)，但是其它处理器类型对于本领域的普通技术人员是已知的。可能存在可具有与CPU单独共享的存储器的许多GPU。一些应用程序仅使用CPU，或以不太有效的方式使用GPU。

另外，一些应用程序需要来自计算机系统的低潜伏时间或延迟，以响应来自应用程序的请求。常常必须采购其它硬件来确保响应来自应用程序的请求的延迟不是很长。

因此，本领域中需要使用异构处理来为应用程序提供低潜伏时间的系统和方法。

实施方案概述

本发明公开用于响应请求的方法、装置和计算机可读介质。一种用于响应请求的方法可包括一个或多个中央处理单元(CPU)接收一个或多个请求。所述方法可包括将一个或多个请求从与一个或多个CPU相关联的第一存储器移动至与一个或多个图形处理单元(GPU)相关联的第二存储器。所述方法可包括一个或多个GPU确定一个或多个请求中的每一个的指针。所述指针可基于请求中的信息来确定。所述方法可包括将确定的指针移动至第一存储器。对于确定的指针中的每一个，所述方法可包括检索由确定的指针所指向的数据。所述数据可从第一存储器中的第一数据结构检索。而且，所述方法可包括一个或多个CPU通过发送对应检索数据来响应接收的请求。

在另一个实施方案中，响应请求的方法可包括接收包括回调函数的一个或多个请求。所述一个或多个请求可接收于与一个或多个CPU相关联的第一存储器中。所述方法可包括将一个或多个请求移动至第二存储器。第二存储器可与一个或多个GPU相关联。所述方法可包括一个或多个GPU线程在一个或多个请求的数量为至少阈值数量时处理一个或多个请求，以便确定一个或多个请求中的每一个的结果。所述方法可包括将结果移动至第一存储器。而且，所述方法可包括一个或多个CPU利用对应结果执行一个或多个回调函数中的每一个。

本发明公开一种用于响应请求的系统。所述系统可包括一个或多个CPU，所述CPU被配置来接收包括回调函数的一个或多个请求。所述一个或多个请求可接收于与一个或多个CPU相关联的第一存储器中。一个或多个CPU可被配置来将一个或多个请求移动至第二存储器。第二存储器可与一个或多个GPU相关联。而且，一个或多个CPU可被配置来利用对应结果执行一个或多个回调函数中的每一个。一个或多个GPU可被配置来执行一个或多个GPU线程，以在一个或多个请求的数量为至少阈值数量时处理一个或多个请求，从而确定一个或多个请求中的每一个的结果。而且，一个或多个GPU可被配置来将确定的结果移动至第一存储器中。

附图简述

本发明的实施方案在附图的各图中以举例而非限制的方式示出，附图中的相同参考数字指示类似元件，并且其中：