[发明专利]一种基于云计算环境下IDC虚拟化调度节能系统

权利要求书

1.一种基于云计算环境下IDC虚拟化调度节能系统，包括CenterManager、Executor、Zoo-Keeper和ClientAPI四个模块，其中CenterManager分为ResourceManager和JobScheduler两个子模块，用户通过命令行、WebPortal和ClientAPI向CenterManager提交、查询和控制作业，以及查询应用集群或者单个节点的资源状态；JobScheduler负责应用分组管理和作业调度，根据应用分组的资源配额以及已用资源数量选择优先级高、有等待作业的应用分组进行作业调度，根据应用分组选择的作业调度算法进行作业调度，并将被选取的作业信息发送给ResourceManager进行资源匹配；所述ResourceManager负责应用集群所有节点的状态监控、管理和作业资源匹配，所述Executor负责作业的启动、执行和状态监控，并定期地向Res0urceManager汇报节点资源状态信息；所述zoo-Keeper是配置中心，它保存所有模块和应用集群节，同时，Zoo-Keeper还是高可用机制的核心点的配置信息；还起到名字服务的作用；所述CenterMan.ager宕机或者服务不可用时，备份CenterManager通过ZooKeeper选择新的主CenterManager；所述JobScheduler实时地向ZooKeeper写入所有作业运行状态信息，用户和应用可以通过作业名称获取该作业的运行状态、节点分布和网络端口作业信息；所述CenterManager采用分布式文件，解决作业的提交和部署、作业数据和日志信息的保存以及应用之间的数据共享问题，为了提高应用性能，系统采用资源容器，而不是传统的虚拟机，实现应用的性能和安全隔离，在拥有高性能的同时，由于资源容器本身不具有独立运行的操作系统，而是与宿主机共享操作系统内核及运行时环境，这就要求系统必须提供额外的支持机制；所述CenterManager还包括动态端口：对于不要求固定端口的作业，用户设置作业属性Dynamic.Port属性为True，表示需要为作业分配一个动态端口；资源匹配时ResourceManager根据节点端口占用情况动态地为其分配一个可用端口号；Executor启动作业时会将该端口号写人到ZooKeeper名字服务，方便其它作业查询；

其特征在于：所述CenterManager还包括依赖型作业模块：服务型作业负载波动大的特征使得作业在数据中心节点的部署情况也是动态变化的；作业提交时只能指定它们依赖作业的名称；作业资源匹配时，ResourceManager根据作业名称从名字服务查询被依赖作业运行的节点列表，生成作业依赖约束条件；所述CenterManager还包括节点失效处理模块，调度策略需要制定一套应对节点自动失效的处理机制；然而，依赖型作业的自动失效处理要求保持作业之间的依赖关系，即被依赖作业被重新调度下发执行以后，依赖作业自动下发至相同的节点上运行；这就使得重新调度被依赖作业时，ResourceManager必须结合被依赖作业和依赖作业的约束条件，动态地生成一个同时满足两者运行要求的组合约束条件。

2.一种权利要求1所述的基于云计算环境下IDC虚拟化调度节能系统的方法，其特征在于：包括如下步骤：

S1、Executor启动作业时会将作业的节点机架、IP地址、端口和磁盘独占作业动态信息实时地写入ZooKeeper名字服务中；

S2、作业资源匹配时，ResourceManager根据作业名称从ZooKeeper名字服务查询上述作业动态信息，并用其替换作业动态约束属性生成作业动态约束条件；

S3、ResourceManager根据作业动态约束条件进行作业资源匹配，并将节点列表信息返回给JobScheduler；

S4、JobScheduler将作业下发至Executor执行。