[发明专利]一种GPU集群服务管理系统及方法

说明书

本发明属于计算机管理领域，特别涉及一种GPU集群服务管理系统及方法。所述管理系统包括：资源监控模块，用于监控GPU集群资源，生成集群资源数据，发送集群资源数据；资源分配模块，用于获取任务信息和所述集群资源数据，根据所述任务信息和集群资源数据，分配任务资源；检查模块，用于获取资源监控模块发送的集群资源数据，根据所述集群资源数据检查GPU集群资源状态，生成检查结果，发送所述检查结果；隔离模块，用于获取所述检查结果，根据所述检查结果对异常资源进行隔离。本发明能够实时监控GPU集群内所有资源状态，确保资源被高效利用；并且能够自动检查出异常资源，对异常资源进行隔离，确保GPU集群正常运行，提高了GPU集群的处理效率。

技术领域

本发明属于计算机管理领域，特别涉及一种GPU集群服务管理系统及方法。

背景技术

GPU集群是一个计算机集群，其中每个节点配备有图形处理单元(GPU)，GPU集群计算速度快。GPU集群可以使用来自两个主要独立硬件供应商的硬件(AMD和NVIDIA)。

目前已有对GPU集群进行管理的系统，用于监控分配集群资源。但是现有的管理系统无法实时监集群状态，并且无法自动识别、处理GPU集群故障。例如，当GPU集群中一个节点出现死机、卡顿的故障时，由于此时该节点中部分资源处于空闲状态，此时管理系统会误认为该资源已完成工作，为空闲资源。管理系统会对该资源进行二次分配，造成资源重复分配，GPU集群无法正常运行，大大降低了GPU集群的处理效率。

发明内容

针对上述问题，本发明提供了一种GPU集群服务管理系统，所述管理系统包括：

资源监控模块，用于监控GPU集群资源，生成集群资源数据，发送集群资源数据；

资源分配模块，用于获取任务信息和所述集群资源数据，根据所述任务信息和集群资源数据，分配任务资源；

检查模块，用于获取资源监控模块发送的集群资源数据，根据所述集群资源数据检查GPU集群资源状态，生成检查结果，发送所述检查结果；

隔离模块，用于获取所述检查结果，根据所述检查结果对异常资源进行隔离。

进一步地，所述资源监控模块采用Prometheus监控系统监控GPU集群资源，生成集群资源数据。

进一步地，所述资源监控模块生成的集群资源数据包括节点名称和节点设备信息；

所述节点设备信息包括GPU信息；

所述GPU信息包括显存使用信息、GPU卡使用率和GPU卡状态信息；

所述资源分配模块获取的任务信息包括：处理当前任务需要的GPU卡的数量和类型。

进一步地，所述资源分配模块分配任务资源包括：

所述资源分配模块根据任务信息创建任务名称和标签；

所述资源分配模块根据任务信息和集群资源数据，分配处理该任务的GPU卡；

所述资源分配模块通过所述标签将所述任务名称和处理该任务的GPU卡关联；

所述资源分配模块将创建的任务名称存储至时序数据库中。

进一步地，所述管理系统还包括：

时序数据库，用于存储所述资源分配模块创建的任务名称。

进一步地，所述检查模块包括：

第一检查单元，用于执行GPU卡非业务类检查，生成第一检查结果；

第二检查单元，用于执行GPU卡业务类检查，生成第二检查结果。

本发明还提供了一种GPU集群服务管理方法，所述管理方法包括：