[发明专利]一种多节点任务动态控制方法

说明书

本发明提供一种多节点任务动态控制方法，根据操作数据流的接收速率和处理速率动态的调整各个计算节点的线程数量，线程数量随着操作数据流的时变性以及外部负载的变化进行动态更新，实现动态实时控制处理效率。

【技术领域】

本发明属于数据流处理领域，尤其涉及多节点数据流任务动态控制方法。

【背景技术】

现有技术中对数据流进行实时分析可以把握系统的当前状态并进行实时响应，目前对海量数据流进行分布式实时流处理的方式为：首先实时接收一批数据流，并将该数据流采用分布式分发的方式下发到多个处理单元，每个处理单元接收分发的一个或多个数据流并进行实时分析处理，处理完的数据流进行整合输出。

但是，现有的数据流分布式并行处理方式中各个计算节点处理数据流的并行度通常是预先设定好的，不能随着操作数据流的时变性以及外部负载的变化进行动态更新，没有实现动态实时控制处理效率。

基于上述问题，现在亟需一种新的多节点数据流任务动态控制方法，根据操作数据流的接收速率和处理速率动态的调整各个计算节点的线程数量，线程数量随着操作数据流的时变性以及外部负载的变化进行动态更新，实现动态实时控制处理效率。

【发明内容】

为了解决现有技术中的上述问题，本发明提出了一种多节点数据流任务动态控制方法。

本发明采用的技术方案如下：

一种多节点任务动态控制方法，其特征在于，该方法包括如下步骤：

(1)各个计算节点根据接收的数据流任务中用于指示进行该数据流任务的目标逻辑任务的接收速率，以及所述目标逻辑任务的处理速率，确定执行所述数据流任务的并行度，所述并行度为并行执行所述数据流任务的线程数量，所述逻辑任务是主控节点根据数据流任务分配的，用于指示待处理数据流任务以及所述待处理数据流任务所需进行的操作；

(2)各个计算节点根据所述数据流任务的并行度，对所述目标逻辑任务进行整合得到至少一个物理任务，所述物理任务的数量与所述并行度相同；

(3)各个计算节点执行所述至少一个物理任务；

(4)各个计算节点将各自并行处理完的结果发送到主控节点，主控节点对上述结果进行整合并输出。

本发明的有益效果包括：根据操作数据流的接收速率和处理速率动态的调整各个计算节点的线程数量，线程数量随着操作数据流的时变性以及外部负载的变化进行动态更新，实现动态实时控制处理效率。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1是本发明多节点数据处理系统的框架图；

图2是本发明多节点数据流任务动态控制方法的流程图。

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

参见附图1，一种多节点数据流任务动态控制方法用于多节点数据流处理系统中，所述系统包括一个主控节点和多个计算节点，其中所述主控节点用于根据接收到的数据流向各个计算节点分配任务，各个计算节点用于对所接收到的分配任务并行地进行计算。在一个实施方式，所述多节点处于分布式系统中，或多节点处于云系统中。

参见附图2，一种多节点任务动态控制方法，该方法包括如下步骤：