[发明专利]集群资源的调度方法与系统

说明书

本发明公开集群资源的调度方法与系统，其中，该调度方法包括：基于任务优先级实时进行任务的资源调度；实时获取集群的总资源信息和任务执行信息，遍历正在执行的每项任务的实时资源占用数据；根据异常标准实时判断所述资源占用数据是否出现异常，并根据判断结果对任务的资源调度进行实时优化，降低了YARN在高负载情况下调度异常和争用资源等情况的出现，进而提升集群运算能力和可靠性。本发明公开的集群资源的调度系统，采用该调度方法，能够有效提升了集群运算能力和可靠性，解决了在服务高峰期出现资源争用与调度异常等问题。

技术领域

本发明涉及大数据分布式计算中的资源调度领域，尤其涉及集群资源的调度方法与系统。

背景技术

随着数据的增长以及企业每天处理越来越多的数据，原本的BI(BusinessIntelligence)商业智能模式已经不能满足于企业的数据存储与分析功能，以Hadoop为代表的高性能、高可靠和高可扩展性的大数据的平台应运而生。其中YARN(Yet AnotherResource Negotiator,简称YARN)作为Hadoop 2.x系列原生资源调度系统，可以为编程模型MapReduce，Storm，Flink等在内的多种计算框架提供统一的资源管理和任务调度。

尽管YARN的出现对于集群在利用率，统一资源管理，数据共享等多个方面有着极大的好处，但是YARN在集群计算服务高峰期，也会出现资源争用与调度异常等问题的出现。以苏宁为例，在“618”，“双十一”等电商购物节期间，因为数据的爆发式增长，对于集群的运算能力有着很大的挑战，因而，急需一种高效的、可靠的集群资源调度方法与系统，解决在服务高峰期出现资源争用与调度异常等问题。

发明内容

本发明的目的在于提供集群资源的调度方法与系统，用于提升集群运算能力和可靠性，解决在服务高峰期出现资源争用与调度异常等问题。

为了实现上述目的，本发明提供如下技术方案：

一种集群资源的调度方法，包括步骤：

基于任务优先级实时进行任务的资源调度；

实时获取集群的总资源信息和任务执行信息，遍历正在执行的每项任务的实时资源占用数据；

根据异常标准实时判断所述资源占用数据是否出现异常，并根据判断结果对任务的资源调度进行实时优化。

优选地，所述基于任务优先级实时进行任务的资源调度的方法为：

资源管理器采用独立的线程基于任务优先级实时对节点管理器进行任务的资源调度；

当所述节点管理器通过发送心跳包向所述资源管理器汇报自身状态时，所述资源管理器将资源调度的结果通过心跳通信发送给对应的节点管理器；

任务的资源调度与心跳通信采用异步并行的执行方式。

较佳地，所述任务优先级以xml文件的形式预先配置。

具体地，所述集群的总资源信息和所述任务执行信息通过YARN页面服务的表述性状态应用程序接口获取。

优选地，所述资源占用数据包括CPU占用数据、内存占用数据、执行时间占用数据以及异常次数。

进一步地，还包括步骤：

周期性的将所述总资源信息和所述任务执行信息存储到数据库中；

对统计周期内的每项任务的资源占用数据进行聚合；

通过对每项任务在不同时段的资源占用数据进行统计分析，制定异常标准，并将所述异常标准的配置参数更新到配置表中。

优选地，所述异常标准的配置参数包括节点CPU占用阈值、内存占用阈值，以及执行时间占用阈值。