[发明专利]一种GPU集群服务管理系统及方法

权利要求书

1.一种GPU集群服务管理系统，其特征在于，所述管理系统包括：

资源监控模块，用于监控GPU集群资源，生成集群资源数据，发送集群资源数据；

资源分配模块，用于获取任务信息和所述集群资源数据，根据所述任务信息和集群资源数据，资源分配模块分配任务资源；

检查模块，用于获取资源监控模块发送的集群资源数据，根据所述集群资源数据检查GPU集群资源状态，生成检查结果，发送所述检查结果；

隔离模块，用于获取所述检查结果，根据所述检查结果对异常资源进行隔离；

资源分配模块分配任务资源包括：

所述资源分配模块根据任务信息创建任务名称和标签；

所述资源分配模块根据任务信息和集群资源数据，分配处理该任务的GPU卡；

所述资源分配模块通过所述标签将所述任务名称和处理该任务的GPU卡关联；

所述资源分配模块将创建的任务名称存储至时序数据库中。

2.根据权利要求1所述的GPU集群服务管理系统，其特征在于，

所述资源监控模块采用Prometheus监控系统监控GPU集群资源，生成集群资源数据。

3.根据权利要求1或2所述的GPU集群服务管理系统，其特征在于，

所述资源监控模块生成的集群资源数据包括节点名称和节点设备信息；

所述节点设备信息包括GPU信息；

所述GPU信息包括显存使用信息、GPU卡使用率和GPU卡状态信息；所述资源分配模块获取的任务信息包括：处理当前任务需要的GPU卡的数量和类型。

4.根据权利要求1中所述的GPU集群服务管理系统，其特征在于，所述管理系统还包括：

时序数据库，用于存储所述资源分配模块创建的任务名称。

5.根据权利要求1中所述的GPU集群服务管理系统，其特征在于，所述检查模块包括：

第一检查单元，用于执行GPU卡的非业务类检查，生成第一检查结果；

第二检查单元，用于执行GPU卡的业务类检查，生成第二检查结果。

6.一种GPU集群服务管理方法，其特征在于，所述管理方法包括：

资源监控模块监控GPU集群资源，生成集群资源数据，发送所述集群资源数据；

资源分配模块获取资源监控模块发送的集群资源数据，获取任务信息；根据所述任务信息和集群资源数据，资源分配模块分配任务资源；

检查模块获取所述资源监控模块发送的集群资源数据，根据所述集群资源数据检查GPU集群资源状态，生成检查结果，发送所述检查结果；

隔离模块获取所述检查结果，根据所述检查结果对异常资源进行隔离；

资源分配模块分配任务资源包括：

所述资源分配模块根据任务信息创建任务名称和标签；

所述资源分配模块根据任务信息和集群资源数据，分配处理该任务的GPU卡；

所述资源分配模块通过所述标签将所述任务名称和处理该任务的GPU卡关联；

所述资源分配模块将创建的任务名称存储至时序数据库中。

7.根据权利要求6所述的GPU集群服务管理方法，其特征在于，

所述集群资源数据包括节点名称和节点设备信息；

所述节点设备信息包括GPU信息；

所述GPU信息包括显存使用信息、GPU卡使用率和GPU卡状态信息；所述资源分配模块获取的任务信息包括：处理当前任务需要的GPU卡的数量和类型。

8.根据权利要求6所述的GPU集群服务管理方法，其特征在于，所述隔离模块根据检查结果对异常资源进行隔离包括：

所述隔离模块读取所述检查结果中的非健康状态的GPU卡信息；其中，所述非健康状态是指GPU卡出现异常情况时的状态；

对所述非健康状态的GPU卡进行隔离。