[发明专利]一种资源调度方法、系统及主节点

说明书

本发明实施例公开了一种资源调度方法、系统及主节点。所述方法包括：主节点获得所有从节点的剩余资源量，基于所述剩余资源量将对应的从节点信息划分至对应的资源子集中；其中，预设的资源集合包括多个资源子集，所述资源子集对应预设资源量范围；相邻两个资源子集的资源量范围连续分布；接收第一计算框架(Framework)的资源需求信息，基于所述资源需求信息在所述资源集合中获得满足所述资源需求信息的第K资源子集；K为正整数；确定所述第K资源子集中包含从节点信息时，所述第K资源子集的资源调度器从所述第K资源子集中选择满足预设条件的第一从节点信息；获得所述第一从节点信息，基于所述第一从节点信息将所述第一从节点的资源分配给所述第一Framework。

技术领域

本发明涉及调度技术，具体设计一种资源调度方法、系统及主节点。

背景技术

Mesos是Apache下的开源分布式资源管理框架，能够实现多种计算框架的统一集群管理和调度。其目标是整合数据中心资源，进行虚拟池化，对应用开放诸如中央处理器(CPU)、内存和输入/输出(I/O)这些基本资源，类似操作系统将处理器资源和存储器资源放入资源池，使其可以为不同的进程协调分配和释放资源。

Mesos采用了Master/Slave结构，图1为现有技术中Mesos架构示意图；如图1所示，Mesos架构包括主节点(Mesos Master)、从节点(Mesos Slave)、计算框架(Framework)和执行器(Executor)。其中，主节点协调全部的从节点，并确定每个从节点的可用资源，聚合计算跨节点的所有可用资源的报告，然后向注册到主节点的计算框架(Framework)发出资源邀约。计算框架(Framework)指外部计算框架，如图1中所示的Hadoop、MPI等。计算框架(Framework)根据任务需求，选择接受或拒绝来自主节点的资源邀约；如果计算框架(Framework)接受邀约，主节点负责协调计算框架(Framework)和从节点进行任务调度。目前，Mesos中的使用的调度机制被称为“ResourceOffer”，采用了基于资源量的调度机制，在Mesos架构中，从节点直接将资源量(如CPU和内存)上报给主节点，由主节点采用DRF(Dominant Resource Fairness)等机制将资源量分配给Framework，使资源分配相对公平，不偏向于任何用户，保证每个用户(Framework)获取了相同比例的支配性资源，例如：Framework A获取了2/3的内存资源，Framework B获取了2/3的CPU资源，则资源调度处理流程如下：

1、Slave1向Master上报4CPU和8GB内存的空闲资源，Master调用分配模块，通知Framework A所有可用的空闲资源；

2、Master发送当前空闲资源的描述信息(Resource Offer)给Framework A；

3、Framework A的调度器回复Master，运行两个任务(task)在Slave 1上，第一个任务使用了2CPU、1GB内存，第二个任务使用了2CPU、2GB内存；

4、Master把任务描述信息发送给Slave 1，Slave 1分配适当的资源给Framework的执行器，然后由Framework的执行器加载这两个任务。执行任务之后，Slave 1剩余资源为0CPU和5GB内存。

Mesos架构的资源调度主要从满足Framework需求的角度进行资源分配，一方面，可能导致某些Slave节点在运行指定任务后，存在剩余资源，但是该剩余资源又不足以分配给其它任务；另一方面由于Framework自身设置的过滤条件，如允许Framework只接收“剩余资源量大于L的Slave”，通过这一过滤条件分配给该Framework的Slave上存在剩余资源，该剩余资源又不足以分配给其他任务运行，这样便产生了大量的资源碎片。另外，Mesos架构主要依赖于主节点向Framework推送可用资源，再进行资源协商，协商过程需要一定时间，实时性较差。

发明内容