[发明专利]一种节点集群中任务分配的方法、节点和系统

说明书

技术领域

本发明涉及深度学习技术领域，具体而言，涉及一种节点集群中任务分配的方法、节点和系统。

背景技术

近年来，深度学习在语音识别、图像识别、自然语言处理等应用中取得了显著的成效；在安防行业，深度学习已经开始大规模实施，已经有很多安防企业开始投入资源开发基于深度学习技术的任务、产品；可见，深度学习正影响着安防企业，影响着智能视频分析技术；尤其是体现在人脸识别应用和车辆特征识别应用等方面。

深度学习带来了更高的识别率以及更多的视频信息的同时，也引入了任务计算量超大的问题，传统做法是采用CPU来完成计算量，但是在计算量过大时，采用单核或者多核CPU的计算速度依然达不到使用要求；而且即便采用多核计算能够满足要求，但是却带来了多核CPU的成本更高和计算密度更低的缺陷；现有技术中，采用专用的GPU计算卡完成深度学习任务，虽然使运算速度得以提高，但是在使用过程中都是分别设有CPU节点集群或者GPU节点集群，在进行任务执行时则分别使用CPU节点集群或者GPU节点集群，进而CPU节点集群和GPU节点集群是被分别进行管理管理和使用的，二者相互独立，无法进行GPU节点集群加CPU节点集群混合计算，在进行任务分配时集群中的CPU资源和GPU资源无法混合使用。

发明内容

有鉴于此，本发明实施例的目的在于提供一种节点集群中任务分配的方法、节点和系统，以达到CPU节点集群和GPU节点集群的统一管理和混合使用的目的。

第一方面，本发明实施例提供了一种节点集群中任务分配的方法，所述节点集群包括多个计算节点，所述多个计算节点包括图形处理器GPU节点和中央处理器CPU节点，多个所述GPU节点组成GPU节点集群，多个所述CPU节点组成CPU节点集群，所述CPU节点集群和所述GPU节点集群统一被中心节点管理，所述方法包括：

中心节点接收用户请求，所述用户请求携带有待执行的任务和用户自定义参数；

所述中心节点控制任一计算节点确定执行所述任务所需要的服务器资源类型和资源大小；

所述中心节点根据所述任务所需要的服务器资源类型和资源大小以及当前计算节点的状态信息将所述任务分配到相应的计算节点。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中：

所述中心节点控制任一计算节点确定执行所述任务所需要的服务器资源类型和资源大小，包括：

根据所述用户自定义参数对所述任务进行分解成多个子任务；

判断所述子任务是否必须使用GPU资源，生成标记信息；

计算执行每个所述子任务所需的CPU资源和/或GPU资源所要满足的资源条件，生成资源条件信息；

所述中心节点根据所述标记信息、资源条件信息和当前每个计算节点的状态信息，将所述子任务分配至相应的计算节点。

结合第一方面或者第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中：

所述状态信息包括：CPU使用率和/或GPU使用率。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中：

所述中心节点根据所述标记信息、资源条件信息和当前每个计算节点的状态信息，将所述子任务分配至相应的计算节点，包括：

如果所述子任务需要GPU资源，所述中心节点则优先将所述子任务分配在满足资源条件的GPU节点集群中GPU负载最低的计算节点；

如果所述子任务不需要GPU资源，所述中心节点优先将所述子任务分配至在满足资源条件的CPU节点集群中CPU负载最低的计算节点。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中：

所述中心节点根据所述标记信息、资源条件信息和当前每个计算节点的状态信息，将所述子任务分配至相应的计算节点，还包括：

如果所述子任务需要GPU资源，但不是必须使用GPU资源，在GPU节点集群中没有满足GPU资源条件的计算节点时，所述中心节点将所述子任务分配至GPU节点集群中满足CPU资源条件的计算节点；如果所述GPU节点集群没有满足所述CPU资源条件的计算节点，所述中心节点将所述子任务分配至CPU节点集群中满足CPU资源条件的计算节点；

如果所述子任务不需要GPU资源，且CPU节点集群中没有满足CPU资源条件的计算节点，所述中心节点将所述子任务分配至GPU节点集群中满足CPU资源要求的计算节点。