[发明专利]基于RPC协议的集群资源统一管理系统

说明书

技术领域

本发明涉及一种基于RPC协议的集群资源统一管理系统，属于集群资源管理技术领域。

背景技术

目前，有多种分布式应用程序资源管理系统，这类资源管理系统能够针对各自系统的特点对作业所需资源进行管理和调度。例如，Apache开源软件基金会的开源项目Hadoop只支持MapReduce作业，新的调度策略难以嵌入其中央式调度器，扩展性较差。同时，中央式调度器可能会发生单点故障而导致整个系统的失效。又如，Google公司通过对中央式调度器进行优化，将每种调度策略放到单独的模块中，不同的作业由不同的调度策略进行调度，这种方案能适应多种类型的分布式应用程序，但是由于所有调度策略仍然在一个集中式的组件中，整个系统的扩展性没有变得更好。

发明内容

本发明的目的是为其他分布式应用程序提供统一服务接口，将原本各自独立运行及分配集群资源的多个分布式应用进行整合，共享集群的软硬件资源，提高资源的利用率，降低运维成本，实现数据共享，增强扩展性。

按照本发明提供的技术方案，所述基于RPC协议的集群资源统一管理系统，其将集群系统划分一个主节点和若干个从节点，在主节点部署一个全局的资源管理服务，在从节点部署节点管理服务以及针对不同应用程序部署特定的应用程序主控服务；从节点上的资源被封装成一个个资源容器；

所述资源管理服务负责集群中所有资源的统一管理和分配，它接受来自各个节点管理服务的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序主控服务；

所述节点管理服务负责每个节点上的资源和任务管理，一方面，它会定时地向资源管理服务汇报本节点上的资源使用情况和各个资源容器的运行状态；另一方面，它接收并处理来自应用程序主控服务的资源容器启动/停止等各种请求；

所述应用程序主控服务负责单个应用程序的管理，包括与资源管理服务协商以获取资源；将得到的任务进一步分配给内部的任务；与节点管理服务通信以启动/停止任务；监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务。

所述每个资源管理服务由调度器和应用程序管理器两个组件构成双层调度模式，调度器保留一个经过简化的中央式调度器，但是调度策略下放到各个应用程序管理器完成；调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的应用程序；应用程序管理器负责管理整个系统中所有应用程序，包括应用程序提交、与调度器协商资源以启动应用程序主控服务、监控应用程序主控服务运行状态并在失败时重新启动它等。

所述节点管理服务管理集群中的单个节点，负责与资源管理服务保持通信、管理资源容器的生命周期、监控每个资源容器的资源使用（内存、CPU等）情况、追踪节点健康状况。

所述应用程序主控服务除了可以与应用程序进行交互控制应用程序内部任务，应当还可以与资源管理服务和节点管理服务进行交互为应用程序任务申请资源并进行监控。

本发明的优点：资源管理服务能够对集群的资源进行全局且统一的管理和分配，其双层调度模式能有效地避免中央式调度器的不足，节点管理服务能够定时地向资源管理服务汇报本节点上的资源使用情况和各个资源容器的运行状态，应用程序主控服务能够通过统一的接口为不同的应用程序分配集群资源和监控任务状态，集群资源统一管理系统为其他分布式应用程序提供统一服务接口，将原本各自独立运行及分配集群资源的多个分布式应用进行整合，共享集群的软硬件资源，提高资源的利用率，降低运维成本，实现数据共享，增强扩展性。

附图说明

图1为本发明的系统结构图。

图2为本发明的工作流程示意图。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。