[发明专利]基于柔性电缆连接的分布式AI训练拓扑

说明书

数据处理系统包括中央处理单元(CPU)(107、109)和通过总线联接到CPU(107、109)的多个加速器卡，每个加速器卡都具有多个数据处理(DP)加速器，以从CPU(107、109)接收DP任务并执行所接收的DP任务。加速器卡中的至少两个经由卡间连接彼此联接，并且DP加速器中的至少两个经由芯片间连接彼此联接。卡间连接和芯片间连接中的每一个都能够被动态激活或去激活，使得响应于从CPU(107、109)接收的请求，能够启用或禁用任一加速器卡或任一加速器卡中的任一DP加速器，以处理从CPU(107、109)接收的任一DP任务。

技术领域

本公开的实施方式大体上涉及机器学习。更具体地，本公开的实施方式涉及人工智能(AI)加速器芯片拓扑。

背景技术

分布式AI训练需要同时工作的多个AI加速器芯片，以加速整个训练过程并减少训练时间。因此，需要AI加速器芯片的拓扑来协调芯片。根据训练需要，这种拓扑的大小可以从一位数到数千个AI加速器芯片不等。通常，小拓扑可以使用基板上的印刷电路板(PCB)布线来建立；而大拓扑可以使用以太网建立以连接不同的基板。然而，这两种方法都不可行，因为它们要么笨拙，要么需要大量的硬件开销。

发明内容

根据第一方面，本公开的一些实施方式提供了一种数据处理系统，包括：中央处理单元(CPU)；以及多个加速器卡，其通过总线联接到CPU，加速器卡中的每一个具有多个数据处理(DP)加速器，以从CPU接收DP任务并执行所接收的DP任务，其中加速器卡中的至少两个经由卡间连接彼此联接，其中DP加速器中的至少两个经由芯片间连接彼此联接，其中卡间连接和芯片间连接中的每一个都能够被动态激活或去激活，使得响应于从CPU接收的请求，可以启用或禁用任一加速器卡或者任一加速器卡中的任一DP加速器，意处理从CPU接收的任一DP任务。

根据第二方面，本公开的一些实施方式提供了一种加速器卡，包括：主机接口，其通过总线联接到中央处理单元(CPU)；以及多个数据处理(DP)加速器，用于从CPU接收DP任务并执行所接收的DP任务，其中所述加速器卡中的至少两个经由卡间连接彼此联接，其中DP加速器中的至少两个经由芯片间连接彼此联接，其中每个芯片间连接能够被动态激活或去激活，使得响应于经由主机接口从CPU接收到的请求，能够启用或禁用任一DP加速器，以处理从CPU接收的任一DP任务。

附图说明

本公开的实施方式在附图的图中以示例的方式而不是限制的方式示出，在附图中相似的附图标记表示类似的元件。

图1示出了根据实施方式的用于AI模型训练的系统的示例。

图2A至图2F示出了根据实施方式的AI模型训练中的数据传递的示例性过程。

图3示出了根据实施方式的用于创建AI芯片拓扑的示例性系统。

图4示出了根据实施方式的示例性AI芯片。

图5示出了根据实施方式的示例性PCB基板。

图6示出了根据实施方式的示例性AI芯片拓扑600。

图7示出了根据实施方式的AI模型训练的示例性过程。

图8示出了根据实施方式的创建AI芯片拓扑的示例性过程。

具体实施方式

将参考以下讨论的细节来描述本公开的各种实施方式和方面，并且附图将示出各种实施方式。以下描述和附图是对本公开的说明，而不应被解释为限制本公开。为了提供对本公开的各种实施方式的透彻理解，描述了许多具体细节。然而，在某些情况下，为了提供对本公开的实施方式的简洁讨论，没有描述公知的或常规的细节。

在说明书中提及“一个实施方式”或“实施方式”意味着结合该实施方式描述的特定特征、结构或特性可以被包括在本公开的至少一个实施方式中。在说明书的各种地方出现的短语“在一个实施方式中”不一定都指同一实施方式。