[发明专利]Pod间通信的方法和分布式计算系统

说明书

本公开实施例提供一种Pod间通信的方法和分布式计算系统，其中，该分布式计算系统中的每个节点上包括多个GPU，目标任务对应的多个Pod用于运行在目标节点的GPU上；目标任务包括第一Pod和第二Pod；该方法包括：第一Pod获取任务资源信息，任务资源信息包括：第一Pod所属的目标任务对应占用的GPU集合；GPU集合包括：第一Pod所在的第一GPU及第二Pod所在的第二GPU；第一Pod根据GPU集合，通过第一GPU与第二GPU之间建立P2P连接。本公开实施例提高了跨Pod通信时的任务处理效率。

技术领域

本公开涉及机器学习技术，具体涉及一种Pod间通信的方法和分布式计算系统。

背景技术

随着深度学习的应用与普及，以及深度学习对GPU为主的高性能计算资源的迫切需求，越来越多的任务开始使用大规模的云计算分布式系统进行计算，例如，该云计算分布式系统可以是Kubernetes。在Kubernetes中，调度的基本单位是pod，可以根据用户提交的待处理的深度学习任务创建一个或多个pod，并将这些pod调度到Kubernetes中的节点(Node)上进行执行。在深度学习任务的执行过程中，不同的Pod间可能会进行相互通信。

目前的Kubernetes系统中，pod间存在着一定程度的隔离，当不同的Pod间要进行相互通信时，即使他们可能处于同一个节点上，也会自动通过网卡互相连接，这使得整个深度学习任务的执行性能较低。

发明内容

有鉴于此，本公开至少提供一种Pod间通信的方法和分布式计算系统，以解决上述提到的任务执行效率低的问题。

第一方面，提供一种Pod间通信的方法，所述方法应用于分布式计算系统，所述分布式计算系统包括：主机和多个节点；每个所述节点上包括多个GPU，待处理的目标任务对应的多个容器集Pod用于运行在所述多个节点中的目标节点的GPU上；所述目标任务对应的多个Pod包括第一Pod和第二Pod；所述方法包括：

所述第一Pod获取任务资源信息，所述任务资源信息包括：所述第一Pod所属的所述目标任务对应占用的GPU集合；其中，所述GPU集合包括：所述第一Pod运行所在的第一GPU以及第二Pod运行所在的第二GPU；

所述第一Pod根据所述GPU集合，通过所述第一GPU与所述第二GPU之间建立P2P连接，以实现所述第一Pod与第二Pod间的通信。

第二方面，提供一种分布式计算系统，所述分布式计算系统包括：主机和多个节点；每个节点上包括多个GPU，待处理的目标任务对应的多个容器集Pod用于运行在所述多个节点中的目标节点的GPU上；其中，所述目标任务对应的多个Pod中包括第一Pod和第二Pod；

所述第一Pod，运行于所述目标节点的第一GPU上，用于获取任务资源信息，所述任务资源信息包括：所述第一Pod所属的所述目标任务对应占用的GPU集合；其中，所述GPU集合包括：所述第一GPU和第二Pod运行所在的第二GPU；并根据所述GPU集合，通过所述第一GPU与所述第二GPU之间建立P2P连接，以实现所述第一Pod与第二Pod间的通信。

第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例的方法。

本公开实施例提供的Pod间通信的方法、装置和电子设备，通过对属于同一任务的各个Pod通知该任务对应占用的GPU集合，使得属于同一任务的各Pod对该任务对应的GPU集合都是可见的，从而可以通过建立GPU P2P连接实现跨Pod的通信，不再需要经过CPU和网卡，显著提高了跨pod间的通信性能，减少任务运行时间，提高了任务处理效率。

附图说明