[发明专利]基于Yarn框架的资源共享控制系统

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于Yarn框架的资源共享控制系统。

背景技术

云计算发展以来，集群的规模不断扩大，集群种类也不断增多。如常见的面向并行编程技术（该并行编程技术即为MapReduce，是谷歌于2004年提出的应用于大规模集群进行大规模数据处理的并行计算模型）任务的分布式计算Hadoop（Apache软件基金会所研发的开放源码并行运算编程工具和分散式档案系统）集群和面向VM（Virtual Machine，虚拟机）任务的IaaS（Infrastructure as a Service，基础设施即服务）集群等。其中，各个任务运行时所基于的物理设备、通信环境大致相同，例如一台计算机设备即可作为Hadoop集群中的一个节点运行MapReduce任务，也可作为IaaS集群中的一个节点运行VM任务；理想的，为了节约部署集群的资源成本，可使多种任务共享同一个资源，例如在同一组物理设备上部署面向不同任务的多个集群；但在实际应用中，由于不同集群所面向的任务的属性不同，因此，使多种任务共享同一个资源后，集群的工作性能出现严重下滑。举例来说，MapReduce任务是一种强调处理数据吞吐量的离线批处理任务，VM任务是一种强调任务执行性能、任务低延迟的在线服务任务。即MapReduce任务与VM任务为两种异构任务；为了避免异构任务间的性能干扰与资源竞争，通常是将上述两种任务隔离部署，即在同一时间段内，系统中同一个节点不可既运行VM任务也运行MapReduce任务的情况；因此，集群中的资源利用率较低，且资源的空闲浪费尤其严重。

针对上述资源浪费的现象，在现有技术中，在共享资源中同时部署Hadoop和IaaS集群。但由于每种任务对其他任务的不可知，容易造成不同任务对同一资源的竞争，从而造成了任务运行性能的下降。

发明内容

本发明提供一种基于Yarn框架的资源共享控制系统，用于优化任务对共享资源的使用，避免任务之间出现的资源竞争及性能干扰。

本发明提供一种基于Yarn框架的资源共享控制系统，包括：

客户端、资源管理模块、至少一个应用管理模块和资源调度模块；

其中，所述资源管理模块用于接收所述客户端发送的第一任务请求，所述任务请求包括任务标识和任务的资源需求信息；根据所述任务标识，在至少一个应用管理模块中启动对应于所述任务标识的应用管理模块，并向所述应用管理模块发送所述第一任务请求；

所述应用管理模块用于根据所述资源需求信息向所述资源调度模块申请运行所述第一任务所需的可用资源；

所述资源调度模块用于向所述第一任务提供所述可用资源，所述可用资源与共享资源中的其他资源具有隔离性。

本发明提供的资源共享的控制方法和系统，使任务获取运行所需的可用资源时，需通过资源管理模块启动相应的应用管理模块，并由该应用管理模块向资源调度模块申请资源以获得任务所需的可用资源，从而使各个任务获取的可用资源是由资源共享的控制系统所分派的，因此避免了任务运行时出现的资源竞争，且资源调度模块提供的可用资源与共享资源中的其他资源具有隔离性，从而各个任务仅使用各自的可用资源，避免了任务之间的性能干扰。

附图说明

图1为本发明基于Yarn框架的资源共享控制系统实施例一的结构图；

图2为本发明基于Yarn框架的资源共享控制系统实施例二的结构图；

图3为本发明基于Yarn框架的资源共享控制方法实施例一的流程图；

图4为本发明基于Yarn框架的资源共享控制方法实施例二的流程图；

图5为本发明基于Yarn框架的资源共享控制方法实施例三的流程图。

具体实施方式

图1为本发明基于Yarn框架的资源共享控制系统实施例一的结构图。如图1所述，该控制系统是基于Yarn框架搭建的，Yarn框架为Apache软件基金会所提供，属于Hadoop下的一种系统，具有对多集群所共享的全部资源进行全局调控的资源管理模块（Resource Manager）和管理各个任务的应用管理模块（Application Master）；另外，需要说明的是，在现有技术中Yarn框架不支持VM任务，因此，本实施例所基于的Yarn框架是扩展后可支持VM任务的Yarn框架，则该控制系统包括：

客户端11、资源管理模块12、至少一个应用管理模块13和资源调度模块14；