[发明专利]多瓦片处理阵列中的同步

说明书

本发明涉及一种计算机，包括：多个处理单元，每个处理单元具有保存本地程序的指令存储，执行本地程序的执行单元，用于保存数据的数据存储；具有输入线组的输入接口，具有输出线组的输出接口；切换结构，通过相应的输出线组连接到每个处理单元，并通过相应的输入线经由每个处理单元可控制的切换电路连接到每个处理单元；同步模块，该同步模块可操作以生成同步信号以控制计算机在计算阶段和交换阶段之间进行切换，其中处理单元被配置为根据公共时钟执行其本地程序，本地程序使得在交换阶段中至少一个处理单元从其本地程序执行发送指令，以在发射时间将数据包发射到其输出连接线组，该数据包的目的地是至少一个接收处理单元但没有目的地标识符，并且在预定的切换时间，接收处理单元从其本地程序执行切换控制指令，以控制其切换电路将其输入线组连接到切换结构，以在接收时间接收数据包，发射时间、切换时间和接收时间由公共时钟相对于同步信号来管控。

技术领域

本公开涉及在包括多个瓦片(tile)的处理器中同步多个不同瓦片的工作量，每个瓦片包括具有本地存储器的处理单元。具体地，本公开涉及批量同步并行(BSP)计算协议，其中瓦片组中的每一个必须在该组中的任何瓦片可以继续交换阶段之前完成计算阶段。

背景技术

计算中的并行性(parallelism)采取不同的形式。程序片段可以被组织为并发地执行(其中它们在时间上重叠但可以共享执行资源)或者并行地执行，其中它们可能同时在不同资源上执行。

计算中的并行性可以以多种方式来实现，诸如借助多个互连处理器瓦片的阵列，或者多线程处理单元，或者其中每个瓦片包括多线程处理单元的多瓦片阵列。

当借助于包括在同一芯片(或在相同集成电路封装中的芯片)上的多瓦片阵列的处理器实现并行性时，每个瓦片包括其自己的单独的相应处理单元，其具有本地存储器(包括程序存储器和数据存储器)。因此，程序代码的单独部分可以在不同的瓦片上并发运行。这些瓦片经由片上互连(on-chip interconnect)而连接在一起，这使得在不同瓦片上运行的代码能够在瓦片之间进行通信。在一些情况下，每个瓦片上的处理单元可以采取桶形线程处理单元(或其他多线程处理单元)的形式。每个瓦片可以具有上下文组和执行流水线，使得每个瓦片可以并发地运行多个交错线程。

通常，在阵列中的不同瓦片上运行的程序的各部分之间可以存在依赖性。因此，需要一种技术来防止一个瓦片上的一段代码在它所依赖于的数据被另一瓦片上的另一段代码使其可用之前运行。存在许多用于实现此目的的可能方案，但是本文中感兴趣的方案被称为“批量同步并行”(BSP)。根据BSP，每个瓦片以交替的方式执行计算阶段和交换阶段。在计算阶段期间，每个瓦片在瓦片上本地执行一个或多个计算任务，但是不将其计算的任何结果与任何其他瓦片通信。在交换阶段，允许每个瓦片将来自先前计算阶段的计算的一个或多个结果交换到组中的一个或多个其他瓦片，和/或徙组中的一个或多个其他瓦片交换，但是在该瓦片完成交换阶段之前尚未开始新的计算阶段。此外，根据这种形式的BSP原理，屏障同步被置于从计算阶段过渡到交换阶段，或者从交换阶段过渡到计算阶段，或两者的接合点处。也就是说：(a)在允许组中的任何瓦片继续到下一个交换阶段之前，需要所有瓦片都完成其各自的计算阶段，或者(b)在允许组中的任何瓦片继续到下一个计算阶段之前，组中的所有瓦片都需要完成其各自的交换阶段，或者(c)两者。当在本文中使用时，短语“在计算阶段和交换阶段之间”包含所有这些选项。