[发明专利]一种任务分配方法及资源管理平台

说明书

本申请实施例提供了一种任务分配方法及资源管理平台，其中，方法包括：从资源管理平台所记录的多个资源池中，确定针对待下发任务的待分配资源池；获取待分配资源池的可用资源量；在待分配资源池的可用资源量满足待下发任务所需的资源量时，将待下发任务下发至待分配资源池所属的服务器集群。本方案中，资源管理平台连接各服务器集群，管理员可以通过资源管理平台将任务统一下发至服务器集群。基于资源管理平台记录有每一资源池的可用资源量，资源管理平台可以对每一待下发任务所需的资源量和针对该待下发任务的待分配资源池的可用资源量进行比较，进而避免了管理员对每一待下发任务逐一进行判断，节省了人力资源，且提高了任务下发效率。

技术领域

本申请涉及大数据技术领域，特别是涉及一种任务分配方法及资源管理平台。

背景技术

Hadoop是一种分布式系统基础架构，基于Hadoop可以提供高吞吐量来访问数据的优点，Hadoop广泛应用于大数据领域。在Hadoop的基础上可以进一步开发更多功能的框架系统。其中，Hadoop的框架中重要的一部分为HDFS(Hadoop Distributed File System，分布式文件系统)，HDFS为大量的数据提供了分布式存储。

YARN(Yet Another Resource Negotiator，通用的资源管理平台)是一种的Hadoop资源管理器，它是一个通用资源管理系统，可为服务器集群提供统一的资源管理和调度。通过YARN对服务器集群中的资源进行统一管理，使得服务器集群在资源利用率、资源统一管理和数据共享等方面均有较好的效果。另外，Hadoop生态圈还提供MapReduce和Spark等多种分布式计算的框架，基于这些分布式计算框架编写的应用均可以在YARN上运行。

目前Hadoop框架下的YARN和HDFS均只针对一个服务器集群进行资源管理，也就是说，每一个服务器集群会部署一个YARN和一个HDFS，每一个YARN仅负责对所在服务器集群中的资源进行管理，每一个HDFS仅负责对所在服务器集群中的数据进行存储。当管理员下发任务时，需要确定运行每一任务的服务器集群，以及该服务器集群中的可用资源是否满足该任务所需资源，在服务器集群中的可用资源满足的情况下再将任务下发至服务器集群中，接收到任务的服务器集群再为所接收到的任务分配资源并运行该任务。例如，待下发的任务包括任务1和任务2，其中，任务1指定由集群1运行，任务2指定由集群2运行，则管理员需先判断服务器集群1中的可用资源是否满足任务1所需的资源，以及判断服务器集群2中的可用资源是否满足任务2所需的资源，在服务器集群1和服务器集群2的可用资源均满足的情况，再分别将任务1下发至服务器集群1中，将任务2下发至服务器集群2中。尤其是待下发的任务较多时，管理员需要对每一任务所指定的服务器集群中的可用资源进行判断，在服务器集群中的可用资源满足任务的所需资源的情况下再将任务一一下发至对应的服务器集群中，这样不仅耗时而且浪费了人力资源。

发明内容

本申请实施例的目的在于提供一种任务分配方法及资源管理平台，以解决任务下发耗时且浪费人力资源的问题。具体技术方案如下：

第一方面，本申请实施例提供了一种任务分配方法，所述方法包括：

从资源管理平台所记录的多个资源池中，确定针对待下发任务的待分配资源池，其中，所述资源管理平台连接的每一服务器集群的资源被划分为一个或多个资源池；

获取所述待分配资源池的可用资源量；

判断所述待分配资源池的可用资源量是否满足所述待下发任务所需的资源量；

若满足，则按照由所述待分配资源池中的资源执行所述待下发任务的策略，将所述待下发任务下发至所述待分配资源池所属的服务器集群。

可选地，所述方法还包括：

获取待处理任务；

将所述待处理任务存储于缓存中，所述缓存用于存储需要服务器集群处理的任务；