[发明专利]一种实时数据流处理的任务分配方法及系统

权利要求书

1.一种实时数据流处理的任务分配方法，其特征在于，包括：

接收至少一个任务；

根据资源平衡原则，将每个任务分配给集群中指定的若干工作机器。

2.如权利要求1所述的方法，其特征在于，根据资源平衡原则，将每个任务分配给集群中指定的若干工作机器，具体包括：

为每个任务建立若干计算拓扑；

将所有计算拓扑平均的分配给指定的若干工作机器。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

为每个工作机器上建立若干工作进程，并使各工作机器上运行相同数量的工作进程。

4.如权利要求1-3任意一项所述的方法，其特征在于，将每个任务分配给集群中指定的若干工作机器之后，还包括：

为每个工作机器配置执行分配的任务所需占用的硬件资源；

配置完成后，使每个工作机器根据所述配置执行分配的任务。

5.如权利要求4所述的方法，其特征在于，所述硬件资源包括内存资源、中央处理器资源、磁盘资源和/或缓存资源。

6.如权利要求5所述的方法，其特征在于，为每个工作机器配置执行分配的任务所需占用的缓存资源时根据不同的任务指定不同的缓存资源。

7.如权利要求1所述的方法，其特征在于，将任务分配给集群中指定的若干工作机器之前，还包括：

获取集群中每个工作机器的剩余资源权值，按照剩余资源权值由高到低的顺序进行排序；

确定该任务需要占用的硬件资源；

根据所述排序和确定的该任务需要占用的硬件资源，选择剩余资源权值高的工作机器作为指定的工作机器。

8.一种实时数据流处理的任务分配系统，其特征在于，包括：

接收模块，用于接收至少一个任务；

分配模块，用于根据资源平衡原则，将每个任务分配给集群中指定的若干工作机器上。

9.如权利要求8所述的系统，其特征在于，所述分配模块，具体用于为每个任务建立若干计算拓扑；

将所有计算拓扑平均的分配给指定的若干工作机器。

10.如权利要求9所述的系统，其特征在于，所述分配模块，还具体用于为每个工作机器上建立若干工作进程，并使各工作机器上运行相同数量的工作进程。

11.如权利要求8-10任意一项所述的系统，其特征在于，所述系统还包括控制模块，用于为每个工作机器配置执行分配的任务所需占用的各硬件资源；

配置完成后，使各工作机器根据所述配置执行分配的任务；所述硬件资源包括内存资源、中央处理器资源、磁盘资源和/或缓存资源。

12.如权利要求11所述的系统，其特征在于，所述控制模块，还用于为每个工作机器配置执行分配的任务所需占用的缓存资源时根据不同的任务指定不同的缓存资源。

13.如权利要求8所述的系统，其特征在于，

所述分配模块，还用于将每个任务分配给集群中指定的若干工作机器时，获取集群中每个工作机器的剩余资源权值，按照剩余资源权值由高到低的顺序进行排序；

确定该任务需要占用的硬件资源；

根据所述排序和确定的该任务需要占用的硬件资源，选择剩余资源权值高的工作机器作为指定的工作机器。