[发明专利]集群资源的调度方法与系统

权利要求书

1.一种集群资源的调度方法，其特征在于，包括步骤：

基于任务优先级实时进行任务的资源调度；

实时获取集群的总资源信息和任务执行信息，遍历正在执行的每项任务的实时资源占用数据；

根据异常标准实时判断所述资源占用数据是否出现异常，并根据判断结果对任务的资源调度进行实时优化。

2.根据权利要求1所述的集群资源的调度方法，其特征在于，所述基于任务优先级实时进行任务的资源调度的方法为：

资源管理器采用独立的线程基于任务优先级实时对节点管理器进行任务的资源调度；

当所述节点管理器通过发送心跳包向所述资源管理器汇报自身状态时，所述资源管理器将资源调度的结果通过心跳通信发送给对应的节点管理器；

任务的资源调度与心跳通信采用异步并行的执行方式。

3.根据权利要求1所述的集群资源的调度方法，其特征在于，所述任务优先级以xml文件的形式预先配置。

4.根据权利要求1所述的集群资源的调度方法，其特征在于，所述集群的总资源信息和所述任务执行信息通过YARN页面服务的表述性状态应用程序接口获取。

5.根据权利要求1所述的集群资源的调度方法，其特征在于，所述资源占用数据包括CPU占用数据、内存占用数据、执行时间占用数据以及异常次数。

6.根据权利要求1所述的集群资源的调度方法，其特征在于，还包括步骤：

周期性的将所述总资源信息和所述任务执行信息存储到数据库中；

对统计周期内的每项任务的资源占用数据进行聚合；

通过对每项任务在不同时段的资源占用数据进行统计分析，制定异常标准，并将所述异常标准的配置参数更新到配置表中。

7.根据权利要求6所述的集群资源的调度方法，其特征在于，所述异常标准的配置参数包括节点CPU占用阈值、内存占用阈值，以及执行时间占用阈值。

8.根据权利要求1所述的集群资源的调度方法，其特征在于，还包括步骤：

通过数据建模的方式将所述总资源信息、所述任务执行信息和正在执行的每项任务的实时资源占用数据转换成报表，并将所述报表导入到资源数据分析平台并显示。

9.一种集群资源的调度系统，采用上述权利要求1-8中任一权利要求所述的集群资源的调度方法，其特征在于，所述系统包括YARN集群调度模块和资源监控模块，其中，

所述YARN集群调度模块包括资源管理器和节点管理器，资源管理器基于任务优先级对节点管理器实时进行任务的资源调度；所述资源管理器与所述节点管理器之间保持心跳通信；所述资源调度与所述心跳通信采用异步并行的执行方式；

所述资源监控模块用于通过实时获取集群的总资源信息和任务执行信息，遍历正在执行的每项任务的实时资源占用数据；根据异常标准实时判断所述资源占用数据是否出现异常或者预判所述资源占用数据是否会出现异常，并根据判断结果对任务的资源调度进行实时优化。

10.根据权利要求9所述的集群资源的调度系统，其特征在于，所述系统还包括数据库、标准制定模块、数据转换模块和资源数据分析平台，其中，

所述数据库用于周期性地存储所述总资源信息和所述任务执行信息，对统计周期内的每项任务的资源占用数据进行聚合，并统计每项任务在不同时段的资源占用数据；

所述标准制定模块用于根据每项任务在不同时段的资源占用数据制定异常标准，并将所述异常标准的配置参数更新到配置表中；

所述数据转换模块用于通过数据建模的方式将所述总资源信息、所述任务执行信息和所述正在执行的每项任务的实时资源占用数据转换成报表；

所述资源数据分析平台用于导入所述报表并显示。