[发明专利]用于分配GPU的方法和装置

说明书

本申请实施例公开了用于分配GPU的方法和装置。该方法的一具体实施方式包括：接收GPU分配请求，其中，GPU分配请求包括请求分配GPU的数目N，N为正整数；确定空闲的GPU和空闲的GPU之间的第一链路，其中，第一链路用于提供两个GPU之间的数据通信，且第一链路的带宽大于预设阈值；基于空闲的GPU和所确定的第一链路，生成连接拓扑关系图，其中，连接拓扑关系图包括与空闲的GPU对应的顶点和与第一链路对应的连接线；基于所生成的连接拓扑关系图，从空闲的GPU中选取N个GPU作为GPU分配请求中请求分配的GPU。该实施方式提高了GPU的利用率。

技术领域

本申请实施例涉及计算机技术领域，具体涉及用于分配GPU的方法和装置。

背景技术

在大数据时代，海量数据的处理对计算机的性能要求较高。GPU(GraphicsProcessing Unit，图形处理器)相对于CPU(Central Processing Unit，中央处理器)在计算性能上有着极大的提升，在浮点计算、通用计算、图像处理等训练任务中得到了广泛的应用。但是，现有技术在为训练任务分配GPU时，通常不会考虑GPU之间的连接亲和性，仅仅保证分配的GPU位于同一节点上。

发明内容

本申请实施例提出了用于分配GPU的方法和装置。

第一方面，本申请实施例提供了一种用于分配GPU的方法，该方法包括：接收GPU分配请求，其中，GPU分配请求包括请求分配GPU的数目N，N为正整数；确定空闲的GPU和空闲的GPU之间的第一链路，其中，第一链路用于提供两个GPU之间的数据通信，且第一链路的带宽大于预设阈值；基于空闲的GPU和所确定的第一链路，生成连接拓扑关系图，其中，连接拓扑关系图包括与空闲的GPU对应的顶点和与第一链路对应的连接线；基于所生成的连接拓扑关系图，从空闲的GPU中选取N个GPU作为GPU分配请求中请求分配的GPU。

在一些实施例中，在基于所生成的连接拓扑关系图，从空闲的GPU中选取N个GPU作为GPU分配请求中请求分配的GPU之后，方法还包括：将空闲的GPU中除所选取的N个GPU之外的其他GPU重新确定为空闲的GPU。

在一些实施例中，基于所生成的连接拓扑关系图，从空闲的GPU中选取N个GPU作为GPU分配请求中请求分配的GPU，包括：获取连接拓扑关系图的至少一个完全子图，其中，完全子图包括N个顶点；从至少一个完全子图中选取第一完全子图；将第一完全子图中所包括的顶点对应的GPU确定为GPU分配请求中请求分配的GPU。

在一些实施例中，基于所生成的连接拓扑关系图，从空闲的GPU中选取N个GPU作为GPU分配请求中请求分配的GPU，包括：获取连接拓扑关系图的至少一个完全子图，其中，完全子图包括P个顶点，且连接拓扑关系图不存在由P+1个顶点组成的完全子图，P为小于N的正整数；从至少一个完全子图中选取第一完全子图，确定第一完全子图中的P个顶点对应的GPU；从剩余的空闲的GPU中选取N-P个GPU作为第一GPU，其中，第一GPU与所确定的第一完全子图所包括的至少一个顶点对应的GPU通过第一链路连接；将第一完全子图中P个顶点对应的GPU和所选取的N-P个第一GPU确定为GPU分配请求中请求分配的GPU。

在一些实施例中，至少一个完全子图中还包括至少一个第二完全子图；第一完全子图中的顶点对应的GPU的总带宽大于或等于任一第二完全子图中的顶点对应的GPU的总带宽。

在一些实施例中，与第一完全子图对应的第三完全子图中的顶点的数目大于或等于与第二完全子图对应的第四完全子图中的顶点的数目，其中，第三完全子图为连接拓扑关系图中去除第一完全子图后得到的包含顶点数目最多的完全子图，第四完全子图为连接拓扑关系图中去除第二完全子图后得到的包含顶点数目最多的完全子图。

在一些实施例中，第三完全子图中的顶点对应的GPU的总带宽大于或等于第四完全子图中的顶点对应的GPU的总带宽。