[发明专利]一种动态调整任务分配的流处理作业调度方法及系统

摘要

本发明公开了一种动态调整任务分配的流处理作业调度方法及系统，其中该方法包括主控节点服务器接收流处理作业，按照给定的参考并发度以及集群中可用资源及流处理作业的自身结构，生成初始任务分配方案；在流处理业务运行过程中，各个计算节点服务器将其自身运行状态信息自动汇报至主控节点服务器，由主控节点服务器进行统一汇总及相应聚合操作；主控节点服务器根据聚合操作后的信息预测下一时段的数据平均处理量以及相应资源占用值，进而动态调整在各个计算节点服务器的流处理任务实例，最终生成流处理作业的动态分配方案并分配至相应计算节点服务器。

主权项

一种动态调整任务分配的流处理作业调度方法，其特征在于，该方法适用于分布式集群服务器中，所述分布式集群服务器包括一个主控节点服务器以及与其相互的通讯的若干个计算节点服务器；该动态调整任务分配的流处理作业调度方法，包括：主控节点服务器接收流处理作业，按照给定的参考并发度以及集群中可用资源及流处理作业的自身结构，生成初始任务分配方案；在流处理业务运行过程中，各个计算节点服务器将其自身运行状态信息自动汇报至主控节点服务器，由主控节点服务器进行统一汇总及相应聚合操作；主控节点服务器根据聚合操作后的信息预测下一时段的数据平均处理量以及相应资源占用值，进而动态调整在各个计算节点服务器的流处理任务实例列表，最终生成流任务动态分配方案并分配至相应计算节点服务器。