[发明专利]流式传输引擎

说明书

一种用于将主机与用于充当主机的工作加速器的子系统相接的网关。该网关实现在预编译的数据交换同步点处将批次数据传送到子系统。该网关包括具有数据移动器引擎和存储器管理引擎的流式传输引擎，该数据移动器引擎和存储器管理引擎被配置为协调地执行来自工作描述符的指令。存储器管理引擎被配置为执行来自工作描述符的指令，以在外部存储和与网关相关联的本地存储器之间传送数据。数据移动器引擎被配置为执行来自工作描述符的指令，以在与网关相关联的本地存储器和子系统之间传送数据。

技术领域

本公开涉及在计算机系统中使用的将主机与用于充当工作加速器的子系统相接的网关，并且尤其涉及通过网关来流式传输数据。

背景技术

在为复杂或大容量的应用处理数据的上下文中，工作加速器可以是从主机系统向其卸载(offload)某些数据的处理的子系统。此类工作加速器可以具有用于执行特定类型的处理的专用硬件。

作为示例，在机器智能中发现了可以使用此类专用的加速器子系统的一类计算领域。如机器智能的本领域技术人员所熟悉的，机器智能算法是基于对“知识模型”执行迭代更新，该“知识模型”可以由多个互连节点的图来表示。每个节点的实现都涉及对数据的处理，并且图的互连对应于要在节点之间交换的数据。通常，每个节点的至少一些处理可以独立于图中的一些或所有其他节点来执行，并因此大型的图有很大的机会使用并行处理。因此，专用于机器智能应用的工作加速器可以包括很大程度的并行处理。可以通过处理器的手段来实现一种形式的并行性，该处理器包括布置在同一芯片(chip)(即，同一晶片(die))上的多个区块(tile)，每个区块包括其各自单独的相应处理单元和存储器(包括程序存储器和数据存储器)。因此，可以在不同的区块上并行地运行程序代码的单独部分。区块经由芯片上互连被连接在一起，这使得能够实现在区块之间交换数据。此类加速器可以用作主机系统的子系统，以对提供给它的数据集执行并行处理。

一般来说，运行在不同区块上的程序部分之间可能存在依赖性。因此，需要一种技术来防止一个区块上的一段代码在其所依赖的、通过另一个区块上的另一段代码可获得的数据之前运行。有许多用于实现此目的的可能方案，举例而言，在此将其中一种方案描述为“BSP(bulk synchronous parallel)”，即批量同步并行。根据BSP，每个区块以交替的周期来执行计算阶段和交换阶段。在计算阶段期间，每个区块在区块上本地执行一个或多个运算任务，但不将其任何运算结果与任何其他区块进行通信。在交换阶段中，允许每个区块将来自前一计算阶段的一个或多个运算结果交换到组中的一个或多个其他区块和/或从组中的一个或多个其他区块交换来自前一计算阶段的一个或多个运算结果，但是该区块尚未进入到下一计算阶段。此外，根据BSP原理，在从计算阶段转换到交换阶段的交接、从交换阶段转换到计算阶段的交接、或这两者的交接处放置屏障同步。也就是说：(a)在允许组中的任何一个区块进入到下一个交换阶段之前，要求所有区块完成它们各自的计算阶段，或者(b)在允许组中的任何一个区块进入到下一个计算阶段之前，要求组中的所有区块完成它们各自的交换阶段，或者(c)这两者。在某些情况下，可以允许执行运算的区块与诸如网卡或存储磁盘之类的其他系统资源通信，只要不涉及与组中的其他区块进行的通信。

在交换阶段期间，数据交换不仅可能在加速器中内部地(即，在区块之间)发生，并且在某些情况下可能需要在加速器和外部存储(例如，主机系统)之间或者在不同加速器上的区块之间发生。当子系统充当工作加速器时，其被配置为对提供给它的(诸如来自主机系统的)数据集进行处理。应当有利地调取数据集，使得可以在恰当的预编译的数据交换同步点处将它们提供给加速器，这可以表示屏障同步。

当通过将子系统直接或间接连接在一起来扩展子系统时，可能会出现一个问题，即如何确保当在预编译的数据交换同步点处需要数据时，该数据是可用的以便递送给加速器。可以在将该数据在预编译的数据交换同步处递送给加速器之前从外部存储中调取该数据，外部存储可以包括不同类型的存储，例如主机存储，或网络附加存储。

发明内容