[发明专利]一种分布式资源管理框架的多层次架构和管理方法

说明书

本发明提供一种分布式资源管理框架的多层次架构和管理方法。其中，对于包括第一层结构Slave和第二层结构Master的集群，根据用户需求通过添加至少一个Super master层来扩展集群的层次结构数目或者通过删除至少一个已有的Super master层来缩减集群的层次结构数目，其中所述Super master层用于管理下属的第二层结构Master或者管理下属的其他Super master，所述第二层结构Master用于管理下属的第一层结构Slave。本发明的多层次架构和管理方法能够适配不同的集群规模并提高了集群的任务处理效率。

技术领域

本发明涉及计算机集群技术领域，尤其涉及一种分布式资源管理框架的多层次架构和管理方法。

背景技术

在现代云计算平台的数据中心中，集群机器的数量成千上万，如2011年谷歌公布的集群节点规模可达12500台，2016年微软的数据中心的机器数量超过了5万台。同时，在这些大型的数据中心中，每天都有上万个作业和任务被调度和运行。

在多节点的并发执行环境中，各个节点的状态需要同步，并且在单个节点出现故障时，系统需要有效的机制保证其它节点不受影响。另外，集群所处理的资源往往非常庞大，少则几百台服务器，多则上万台，并且可能跨跃多个地域。集群中运行的应用也是数以千计，如何有效地管理这批资源，保证它们正常提供服务，需要强大的技术支撑。而分布式资源管理系统恰是保证系统状态的关键。

当前主流的分布式资源管理采用双层调度模式，例如，Mesos采用Master/Slave架构。Mesos有一个中央资源分配者Master负责管理集群中的所有Slave(Slave运行在机器节点上，每个Slave负责管理本节点上的任务Task，并将计算资源分配给任务执行器Executor)。Master动态的分配资源给不同的Frameworks(每个Framework是一种计算框架，例如Spark、Flink，也可以是使用者实现的一个业务模块)。Mesos的资源分配是Master主动向Framework提供的，Master通过将每一份空余资源只分给一个Framework来避免冲突，并且通过主资源公平(DRF)的方式保证所有Framework公平性和合理的资源利用率。Framework收到Master的Offers(一种消息类型，描述每个Slave上的可用资源，资源即机器信息，例如CPU数和内存数)，可以选择拒绝部分资源，然后再分配并调起Slave上的Executor执行任务。

在当前流行的分布式资源管理框架Mesos中，当Mesos Master向Framework提供资源时，缺乏根据Framework类型对资源进行选择的调度策略，存在将任务调度到同一机器节点上造成不同任务之间互相干扰的现象，在提高单位时间内任务吞吐量方面仍有改进空间。

发明内容

本发明的目的在于克服上述现有技术的缺陷，提供一种分布式资源管理框架的多层次架构和管理方法。

根据本发明的第一方面，提供一种分布式资源管理框架的多层次架构，包括第一层结构Slave和第二层结构Master，其中，根据用户需求通过添加至少一个Super master层来扩展集群的层次结构数目或者通过删除至少一个已有的Super master层来缩减集群的层次结构数目，其中所述Super master层用于管理下属的第二层结构Master或者管理下属的其他Super master，所述第二层结构Master用于管理下属的第一层结构Slave。

在一个实施例中，对于包括第一层结构Slave，第二层结构Master和至少一个Super master层的集群，由每个节点上运行的第一层结构Slave收集节点硬件信息和运行信息，发送给第二层结构Master，并且周期性地将运行信息发送给第二层结构Master，第二层结构Master将收集到的硬件信息发送给Super master层，而运行信息由第二层结构Master管理，通过接受其下属Slave的心跳信息定时更新。