[发明专利]一种动态调整任务分配的流处理作业调度方法及系统

说明书

本发明公开了一种动态调整任务分配的流处理作业调度方法及系统，其中该方法包括主控节点服务器接收流处理作业，按照给定的参考并发度以及集群中可用资源及流处理作业的自身结构，生成初始任务分配方案；在流处理业务运行过程中，各个计算节点服务器将其自身运行状态信息自动汇报至主控节点服务器，由主控节点服务器进行统一汇总及相应聚合操作；主控节点服务器根据聚合操作后的信息预测下一时段的数据平均处理量以及相应资源占用值，进而动态调整在各个计算节点服务器的流处理任务实例，最终生成流处理作业的动态分配方案并分配至相应计算节点服务器。

技术领域

本发明属于分布式流处理领域，尤其涉及一种动态调整任务分配的流处理作业调度方法及系统。

背景技术

近年来，随着信息化和互联网的不断发展，大量数据被快速、实时的产生。为了能够快速，高效，即时的对数据中的信息进行获取和分析，流处理系统作为一种数据实时处理系统，受到了广泛的应用。流处理作业作为一种长时间持续运行的作业任务，在运行过程中所处理的数据量通常会随时间发生较大变化。

分布式流处理系统中，通常将流处理作业抽象为一个有向无环图。图中的点表示作业的逻辑单元，图中的边表示数据的流向和分组策略。流处理作业运行时，需将有向无环图映射为物理执行图，将作业逻辑单元按照一定并发度展开，形成流处理任务实例，分配至不同的物理节点上。现有的分布式流处理系统大都采用指定并发度的模式运行。这种方式虽然能够以直接简便的方式部署流处理应用，但该种方式存在以下不足之处：

当面对变化的数据量时，难以针对作业任务中不同逻辑单元的并发度进行动态的调整。因此，为了应对流处理应用的处理量高峰，需预先计算并分配合适的并发度，从而导致在低负荷运行情况下对集群资源占用的浪费。

为了能够减少流处理运行过程中对资源的多余占用，提升集群整体资源利用率，需要引入一种动态的调整机制，以动态使用，动态申请为原则，使分布式流处理系统能够根据数据量的变化，按需使用节点，以动态调整任务分配策略。

发明内容

为了解决现有技术的不足，本发明提供了一种动态调整任务分配的流处理作业调度方法，其能解决长期运行的流处理作业对集群资源的多余占用，根据流处理作业运行时处理的数据量及负载，动态调整流处理作业的并发度，从而达到最小化资源占用的目的。

本发明的动态调整任务分配的流处理作业调度方法，该方法适用于分布式集群服务器中，所述分布式集群服务器包括一个主控节点服务器以及与其相互的通讯的若干个计算节点服务器；

该动态调整任务分配的流处理作业调度方法，包括：

主控节点服务器接收流处理作业，按照给定的参考并发度以及集群中可用资源及流处理作业的自身结构，生成初始任务分配方案；

在流处理业务运行过程中，各个计算节点服务器将其自身运行状态信息自动汇报至主控节点服务器，由主控节点服务器进行统一汇总及相应信息聚合操作；

主控节点服务器根据聚合操作后的信息预测下一时段的数据平均处理量以及相应资源占用值，进而动态调整在各个计算节点服务器的流处理任务实例，最终生成流任务动态分配方案并分配至相应计算节点服务器。

进一步的，该方法还包括：

实时存储生成的流任务动态分配方案，并采用事件驱动模型来检测当前分配任务是否发生变化，若是，则将变化后的流任务分配方案实时分配至相应计算节点服务器。

进一步的，主控节点服务器接收的流处理作业为有向无环图的形式。

其中图中每个点为执行处理流程的逻辑单元，边为逻辑单元之间进行信息传递的通路。

进一步的，主控节点服务器生成初始任务分配方案的过程，包括：