[发明专利]一种实时数据流处理的任务分配方法及系统

说明书

技术领域

本发明涉及计算机领域，特别是涉及一种实时数据流处理的任务分配方法及系统。

背景技术

在任务硬件资源分配中，若采用Storm(分布式高容错的实时计算系统)进行实时数据的处理，其默认是按照硬件资源序号方式排序分配硬件资源。例如，现有3台机器(C1、C2和C3)的Storm集群，每台机器有3个端口硬件资源(P1、P2和P3)。有2个拓扑(T1和T2)需要分配硬件资源，拓扑T1需要分配在两台机器的2个端口，拓扑T2需要分配在3台机器的4个端口，此时，为拓扑T1分配硬件资源的结果如图1所示，为拓扑T2分配硬件资源的结果如图2所示。

从图中可以清楚的看到，C1的硬件资源全部占用，而C3的硬件资源剩余较多。也就是说，由于Storm统一按编号分配硬件资源，从而导致了一个集群中，硬件资源的分配不均，有的机器硬件资源占满，而有的机器硬件资源还剩余很多。

因此，需要一种新的技术，用以解决在多任务的情况下，整个集群中的机器发生硬件资源倾斜和大量的硬件资源分布不均，以及整个集群硬件资源紧张和硬件资源利用率低等情况。

发明内容

鉴于现有技术的缺陷，本发明目的在于提供一种实时数据流处理的任务分配方法及系统，用以解决现有多任务实时数据处理中硬件资源分布不均的问题。

为了解决上述技术问题，一方面，本发明提供一种实时数据流处理的任务分配方法，包括：

接收至少一个任务；

根据资源平衡原则，将每个任务分配给集群中指定的若干工作机器。

进一步，根据资源平衡原则，将每个任务分配给集群中指定的若干工作机器，具体包括：

为每个任务建立若干计算拓扑；

将所有计算拓扑平均的分配给指定的若干工作机器。

进一步，所述方法还包括：

为每个工作机器上建立若干工作进程，并使各工作机器上运行相同数量的工作进程。

进一步，将每个任务分配给集群中指定的若干工作机器之后，还包括：

为每个工作机器配置执行分配的任务所需占用的硬件资源；

配置完成后，使每个工作机器根据所述配置执行分配的任务。

进一步，所述硬件资源包括内存资源、中央处理器资源、磁盘资源和/或缓存资源。

进一步，为每个工作机器配置执行分配的任务所需占用的缓存资源时根据不同的任务指定不同的缓存资源。

进一步，将任务分配给集群中指定的若干工作机器之前，还包括：

获取集群中每个工作机器的剩余资源权值，按照剩余资源权值由高到低的顺序进行排序；

确定该任务需要占用的硬件资源；

根据所述排序和确定的该任务需要占用的硬件资源，选择剩余资源权值高的工作机器作为指定的工作机器。

另一方面，本发明还提供一种实时数据流处理的任务分配系统，包括：

接收模块，用于接收至少一个任务；

分配模块，用于根据资源平衡原则，将每个任务分配给集群中指定的若干工作机器上。

进一步，所述分配模块，具体用于为每个任务建立若干计算拓扑；

将所有计算拓扑平均的分配给指定的若干工作机器。

进一步，所述分配模块，还具体用于为每个工作机器上建立若干工作进程，并使各工作机器上运行相同数量的工作进程。

进一步，所述系统还包括控制模块，用于为每个工作机器配置执行分配的任务所需占用的各硬件资源；

配置完成后，使各工作机器根据所述配置执行分配的任务；所述硬件资源包括内存资源、中央处理器资源、磁盘资源和/或缓存资源。

进一步，所述控制模块，还用于为每个工作机器配置执行分配的任务所需占用的缓存资源时根据不同的任务指定不同的缓存资源。

进一步，所述分配模块，还用于将每个任务分配给集群中指定的若干工作机器时，获取集群中每个工作机器的剩余资源权值，按照剩余资源权值由高到低的顺序进行排序；

确定该任务需要占用的硬件资源；

根据所述排序和确定的该任务需要占用的硬件资源，选择剩余资源权值高的工作机器作为指定的工作机器。

本发明有益效果如下：本发明通过在接收一个或多任务时，根据资源平衡原则，将每个任务分配给指定的各工作机器，克服现有技术中实时数据处理中硬件资源分布不均的问题。

附图说明

图1是现有技术中需要二个硬件资源的一个任务分配结果示意图；

图2是现有技术中分别需要二个和四个硬件资源的二个任务分配结果示意图；