[发明专利]一种动态资源调度机制的大数据离线调度开发平台及方法

说明书

本发明涉及一种动态资源调度机制的大数据离线调度开发平台，包括客户端、资源分配主节点模块和数个任务执行管理器，所述客户端分别与资源分配主节点模块和数个任务执行管理器连接，每一所述任务执行管理器均和资源分配主节点模块连接，用于定时与资源分配主节点模块通信，汇报当前服务器资源使用情况,并定期将自己的资源使用信息更新到zookeeper节点中。使用本发明显著降低了主节点的单点故障风险。解决了老框架中工作节点的主要负载是监控任务下子程序的运行状况但无法处理的问题。如果任务运行的机器出现问题，会分配给其他机器并重启任务，极大地提高了平台的容错性。

技术领域

本发明涉及资源调度技术领域，具体涉及一种动态资源调度机制的大数据离线调度开发平台及方法。

背景技术

在互联网公司高速发展的情况下，基于数据密集型应用的计算需求不断增加，公司对于服务器硬件的资源利用率、运维成本、数据共享等因素的考虑，希望将各种不同类型的计算需求都部署到一个公共的集群中，让他们共享集群的资源，并对资源进行统一使用，同时采用一定的资源隔离机制对各个任务进行隔离，这样便诞生了调度开发平台。而传统的调度开发平台在扩展性、可靠性、资源利用率这三个方面表现不佳。

在传统调度开发平台中会存在一个主节点(Master)同时具备资源管理和作业控制功能，这部分成为系统的一个最大瓶颈。此节点完成了太多的任务，造成了过多的资源消耗，当用户程序非常多的时候，会造成很大的内存开销，潜在来说，也增加了用户程序分发的风险，这也是业界普遍总结出此架构只能支持 4000 节点主机的上限。

在从节点(Slave)上，单纯的通过任务的数量作为资源的表示过于简单，没有考虑到CPU、内存的占用情况，如果用两个大内存消耗的任务调度到了一起，就很容易出现内存溢出问题。

为了解决上述问题，同时满足业务场景的无缝迁移，我们对主节点上进行了功能分离为了两个组件，这两个组件是资源管理和任务调度。资源管理器(ResourceMaster)全局管理所有应用程序的计算资源分配，每一个应用的Executor负责相应的调度和协调。这样的设计大大减小了Master的资源消耗，并且让监测每一个子程序状态的程序分布化了。对于资源的表示以内存和cpu为单位，比之前的任务数分配更加合理。

发明内容

本发明所要解决的技术问题是提供一种动态资源调度机制的大数据离线调度开发平台和方法。

为解决以上技术问题，本发明的技术方案为：提供一种动态资源调度机制的大数据离线调度开发平台，其创新点在于：包括客户端、资源分配主节点模块和数个任务执行管理器，所述客户端分别与资源分配主节点模块和数个任务执行管理器连接，每一所述任务执行管理器均和资源分配主节点模块连接，用于定时与资源分配主节点模块通信，汇报当前服务器资源使用情况,并定期将自己的资源使用信息更新到zookeeper节点中。

进一步的，每一所述任务执行管理器均包括数个资源管理容器，每一所述资源管理容器均包括一任务执行器模块，所述任务执行器模块通过和资源分配主节点模块相连来从资源分配主节点模块找到任务ID，并使得任务执行管理器通过任务ID对任务执行器的实时监控以及用户在web客户端实时查看到任务的运行状态，所述任务执行器模块还和客户端相连来对 客户端暴露接口，所述接口用来进行提交任务、杀死任务和查看任务状态。

进一步的，所述资源分配主节点模块包括调度器和任务管理器，调度器模块用于定时触发任务的启动，资源管理器用于将集群中的服务器的CPU、内存和带宽资源进行分配。

进一步的，每一所述任务执行管理器包括资源管理容器的数量通过调度器的策略来决定。

为解决以上技术问题，本发明的技术方案还提供了一种动态资源调度机制的大数据离线调度开发方法，其创新点在于：具体包括以下步骤：