[发明专利]基于yarn架构的虚拟机调度系统

说明书

本发明公开了一种基于yarn架构的虚拟机调度系统,属于云系统领域，包括ResourceManager模块，NodeManager模块，YarnProxy模块，AnalysisServer模块和Hypervisor主机。本发明通过对YARN进行功能扩充，使系统可以同时运行任务调度器和虚拟机调度器，支持使用不同的调度算法调度不同类型的资源。本发明对资源进行统一管理，大幅度降低不同资源的运维成本。添加的AnalysisServer模块能够对实时的虚拟机资源使用情况进行分析，对于不同需求的客户提供不同的超卖系数，解决资源利用率低的问题。

技术领域

本发明属于云系统领域，特别是涉及一种虚拟机调度系统。

背景技术

近些年来，云计算大潮风起云涌，现在很多的公司尤其是互联网公司都建立起了自己的公有云或私有云。云计算的强烈需求，促进了虚拟化技术发展，为了提高资源利用率，虚拟化服务器就变成了大多数公司的选择，而目前主流的虚拟机资源调度系统只能满足特定的需求，无法扩展至其他类型的资源调度，对系统资源进行统一管理。其使用的调度算法实现都是以用户申请的资源量为输入，实际系统运行过程中，虚拟机在大部分时间不会满负荷使用其所占资源，导致系统资源利用率低。而且对于需求不同的用户，使用同一的标准进行配置虚拟机，可能导致对于性能要求较高的用户不能达到流畅使用的目的，同时，普通用户也会造成资源浪费的情况。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种能够降低不同资源的运维成本且解决资源利用率低的虚拟机调度系统。

为实现上述目的，本发明提供了一种基于yarn架构的虚拟机调度系统,包括ResourceManager模块(资源调度管理器)，NodeManager模块(节点管理器)，YarnProxy模块(Yarn服务代理)，AnalysisServer模块(资源使用分析)和Hypervisor主机(虚拟化服务器)；

所述ResourceManager模块基于应用程序对资源的需求进行调度；

所述NodeManager模块监控应用程序的资源使用情况(CPU、内存、硬盘及网络)并且向所述ResourceManager模块汇报；

所述YarnProxy模块用于上报Hypervisor主机的资源信息到ResourceManager模块；部署虚拟机时发送资源申请请求到ResourceManager模块获取合适的主机；从分析系统获取虚拟机资源使用情况更新到ResourceManager模块；

所述AnalysisServer模块用于对虚拟机使用的资源进行分析和调整，使用RESTAPI通信，查询虚拟机资源使用信息，通过YarnProxy更新主机负载信息到ResourceManager模块；

所述Hypervisor主机用于运行需要调度的VM。

较佳的，所述ResourceManager模块包括ResourceTrackerService模块、ApplicationMasterService模块、ClientRMService模块、VMscheduler模块和Jobscheduler模块；

所述ResourceTrackerService模块用于资源追踪服务，负责NodeManager模块将Node信息上报到ResourceManager模块；

所述ApplicationMasterService模块用于应用程序管理服务，负责处理ApplicationMaster模块相关请求，包括注册和完成ApplicationMaster模块请求，ApplicationMaster模块对ResourceManager模块的分配请求；

所述ClientRMService模块用于客户端通过RPC协议ClientRMProtocol向ResourceManager模块发送应用程序提交请求；