[发明专利]计算系统中数据同步的方法及计算节点

说明书

本申请提供了一种计算系统中数据同步的方法及计算节点，属于计算机技术领域。本申请提供了一种基于立方体的网络拓扑结构实现全归约的方法，通过按照节点在立方体中所在的每个平面，将节点上的数据分成多个数据段，分别在节点所在的多个平面内执行归约拆分操作，对归约拆分操作得到的结果数据，执行相对平面的两个对应节点之间的全归约操作，在节点所在的多个平面内对全归约操作得到的结果数据执行全收集操作，能够显著减少实现数据发起和同步次数，因此显著减少了数据同步开销。

技术领域

本申请涉及计算机技术领域，特别涉及一种计算系统中数据同步的方法及计算节点。

背景技术

全归约(allreduce)是计算系统中实现数据同步的一种高效方法。全归约是指对计算系统每个节点上的数据进行归约，并使参与通信的所有节点均获得归约结果的操作。

时下，可以将计算系统中的网络拓扑结构配置为环形，利用环全归约(RingAllreduce)的方法实现allreduce。具体地，每个节点首先通过在环内执行归约拆分(reduce-scatter)操作，以将本节点的部分数据和网络中所有节点的部分数据进行归约。之后，每个节点根据reduce-scatter操作得到的结果，在环内执行全收集(allgather)操作，从而得到网络中全部节点上数据的归约结果。

采用上述方法时，如果网络中节点的数量为n个(n为大于或等于2的正整数)，执行reduce-scatter操作时需要数据发起和同步(n-1)次，执行allgather操作时需要数据发起和同步(n-1)次，导致实现allreduce总共需要2*(n-1)次的数据发起和同步，由于数据发起和同步的次数过多，导致数据同步的开销过大。

发明内容

本申请实施例提供了一种计算系统中数据同步的方法及计算节点，能够减少数据同步的开销。所述技术方案如下：

第一方面，提供了一种计算系统中数据同步的方法，在该方法中，所述计算系统的网络拓扑结构为立方体，所述立方体的顶点用于表示所述计算系统中的节点，所述计算系统包括第一节点，所述方法包括：

按照所述第一节点在所述立方体中所处的多个第一平面，对所述第一节点上待同步至所述计算系统的数据进行拆分，得到每个所述第一平面对应的数据段；

分别与所述计算系统中位于每个所述第一平面的共面节点，对每个所述第一平面对应的数据段执行归约拆分操作，得到每个所述第一平面对应的第一结果数据；

分别与所述计算系统中位于每个第二平面的相对节点，对每个所述第一平面对应的第一结果数据执行全归约操作，得到每个所述第一平面对应的第二结果数据，所述第二平面是所述立方体中与所述第一平面位置相对的平面；

分别与每个所述第一平面内的共面节点，对每个所述第一平面对应的第二结果数据执行全收集操作。

以上提供了一种基于立方体的网络拓扑结构实现全归约的方法，采用上述方法时，平面内执行归约拆分操作时数据发起和同步次数是3次。相对平面内对数据进行全归约操作时数据发起和同步次数是2次。平面内全收集操作时数据发起和同步次数是3次。因此，计算系统总共执行8次数据发起和同步即可实现全归约；或者，平面内执行归约拆分操作时数据发起和同步次数是3次。相对平面内对数据进行全归约操作时数据发起和同步次数是2次。平面内全收集操作时数据发起和同步次数是1次。因此，计算系统总共执行6次数据发起和同步即可实现全归约。因此，该方法能够显著减少计算系统中实现全归约带来的数据发起和同步次数，从而显著减少了计算系统的数据同步开销。

可选地，所述分别与所述计算系统中位于每个第二平面的相对节点，对每个所述第一平面对应的第一结果数据执行全归约操作，得到每个所述第一平面对应的第二结果数据，包括：

分别与每个所述第二平面的相对节点，对每个所述第一平面对应的第一结果数据执行全收集操作，得到每个所述第一平面对应的第三结果数据；