[发明专利]一种面向异构资源的多维调度系统

说明书

本发明公开了一种面向异构资源的多维调度系统，包括：集群管理模块、容器管理模块、资源统调模块、硬件抽象模块、关系数据库及组件通信模块；资源统调模块包括集群资源分配组件，用于管理接入集群的各个二级调度框架和主机资源管理组件，并将主机资源管理组件上的资源按照预设的策略分配给二级调度框架；主机资源管理组件，用于接收并执行来自集群资源分配组件的命令、管理节点上的容器任务，并为各个容器分配资源；所述集群管理模块用于管理系统中的集群资源。所述面向异构资源的多维调度系统通过将资源调度设计为两级调度架构，对集群资源进行统一调度和管理。该系统能够优化资源配置以及调度结构，进而提高异构资源调度的效率和效果。

技术领域

本发明涉及数据通信及处理技术领域，特别是指一种面向异构资源的多维调度系统。

背景技术

近几年，科学家和学者在跨域资源调度方面进行了大量的研究，目的是提高资源的利用率、避免造成资源浪费、提高资源的管理和应用效率。通常资源池中包括计算资源、存储资源、网络资源等多种资源，各种资源的硬件及软件都涉及多个厂家多种产品。通过资源调度管理技术，能够兼容各种资源和设备，对包括虚拟化后的计算资源、分布式存储资源以及传统的物理机资源、磁盘阵列资源、网络资源以及他们之下的物理设备、第三方软件、用户的私有应用软件等进行统一调度、管理、监控。此外，资源管理还使得资源池上的各种应用平台，能够按照需要灵活地申请或释放资源，统一管理调度，按需分配。

目前的调度方法要么是提供虚机资源的虚拟化和调度，要么是提供容器资源，无法实现面向异构资源的多维度调度，并同时提供虚拟主机和容器资源。传统虚拟化技术解决了基于资源需求驱动的单资源池的资源调度问题。这种模式较为粗放，不能从应用角度解决应用的实际资源需求，也不能在更大资源规模上实现分布式资源调度。因此，在实现本发明的过程中，发明人发现现有技术中至少存在以下具体技术难点：虚拟资源无法在运行时进行调度和重新划分、不同类型的应用框架资源难以共享和资源调度局限于单个集群或者数据中心等问题。

发明内容

有鉴于此，本发明的目的在于提出一种面向异构资源的多维调度系统，能够优化资源配置以及调度结构，进而提高异构资源调度的效率和效果。

基于上述目的本发明提供的一种面向异构资源的多维调度系统，包括：集群管理模块、容器管理模块、资源统调模块、硬件抽象模块、关系数据库以及组件通信模块；所述资源统调模块分别与集群管理模块、容器管理模块、硬件抽象模块、关系数据库、组件通信模块连接。

所述资源统调模块包括集群资源分配组件、主机资源管理组件；且所述集群资源分配组件用于管理接入集群的各个二级调度框架和主机资源管理组件，并将主机资源管理组件上的资源按照预设的策略分配给二级调度框架；所述主机资源管理组件用于接收并执行来自集群资源分配组件的命令、管理节点上的容器任务，并为各个容器分配资源。

所述集群管理模块用于管理系统中的集群资源；所述容器管理模块用于管理系统中的容器资源；所述硬件抽象模块用于为系统提供硬件支撑，包括物理服务器和虚拟服务器；所述组件通信模块用于为系统提供通信。

可选的，所述集群资源分配组件采用master-slave主从结构，其中，Master的守护进程为第一级调度，用于管理集群中所有服务器节点上运行的Slave守护进程；任务调度器为第二级调度。

可选的，主Master服务器节点用于协调所有从Slave服务器节点，并确定每个服务器节点的可用资源，聚合跨服务器节点的所有可用计算资源，然后向注册到Master的二级调度框架发出资源邀约；

所述二级调度框架根据应用程序的需求，选择接受或拒绝来自Master的资源邀约；若接受邀约，则Master将协调二级调度框架和Slave，调度参与节点上的任务，并在容器中执行该任务，使多种类型的任务在同一个节点上同时运行。