[发明专利]一种用于对大数据任务进行分布式处理的方法

权利要求书

1.一种用于对大数据任务进行分布式处理的方法，其特征在于，所述方法包括：

确定针对大数据任务的任务处理次序，所述任务处理次序包括组间次序和组内次序；所述组间次序用于指示网络节点所在的组的次序，所述组内次序用于指示网络节点在其所属的组中的次序；其中，所述组间次序低的组中包含的网络节点的全部或部分任务依赖于至少一个组间次序高的组中包含的网络节点；在同一组内，组内次序低的网络节点的全部或部分任务依赖于至少一个组内次序高的网络节点；

根据至少两个网络节点各自对应的任务处理次序，确定所述至少两个网络节点中的要进行任务处理的网络节点，所述至少两个网络节点中任务处理次序低的网络节点的全部或部分任务依赖于至少一个任务处理次序高的网络节点；以及

向所述要进行任务处理的网络节点发送任务处理指示，所述任务处理指示用于指示所述要进行任务处理的网络节点开始处理任务；

还包括，在根据至少两个网络节点各自对应的任务处理次序，确定所述至少两个网络节点中的要进行任务处理的网络节点之前，获取所述至少两个网络节点之间的依赖关系；根据所述至少两个网络节点之间的依赖关系确定所述至少两个网络节点各自对应的任务处理次序；

其中获取至少两个网络节点之间的依赖关系时，接收各个网络节点上报的依赖信息，所述依赖信息用于指示对应的网络节点所依赖的网络节点。

2.根据权利要求1所述的一种用于对大数据任务进行分布式处理的方法，其特征在于，所述根据至少两个网络节点各自对应的任务处理次序，确定所述至少两个网络节点中的要进行任务处理的网络节点，包括：当接收到所述至少两个网络节点中的请求网络节点发送的任务处理请求时，查询至少一个目标组，所述至少一个目标组是尚未完成任务处理的各个组中组间次序最高的组；获取任务处理列表，所述任务处理列表中包含每一个所述目标组中尚未完成任务处理的各个网络节点中、组内次序最高的至少一个网络节点；检测所述请求网络节点是否存在于所述任务处理列表中；若所述请求网络节点存在于所述任务处理列表中，则确定所述请求网络节点为所述要进行任务处理的网络节点。

3.根据权利要求1所述的一种用于对大数据任务进行分布式处理的方法，其特征在于，所述根据至少两个网络节点各自对应的任务处理次序，确定所述至少两个网络节点中的要进行任务处理的网络节点，包括：当接收到所述至少两个网络节点中的请求网络节点发送的任务处理请求时，查询所述请求网络节点的组间次序和组内次序；检测所述请求网络节点的组间次序是否为所述至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序；若所述请求网络节点的组间次序是所述至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序，则检测所述请求网络节点的组内次序是否为所述请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序；若所述请求网络节点的组内次序是所述请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序，则确定所述请求网络节点为所述要进行任务处理的网络节点。

4.根据权利要求1所述的一种用于对大数据任务进行分布式处理的方法，其特征在于，所述根据至少两个网络节点各自对应的任务处理次序，确定所述至少两个网络节点中的要进行任务处理的网络节点，包括：查询至少一个目标组，所述目标组是尚未完成任务处理的各个组中、组间次序最高的组；对于所述至少一个目标组中的每一个目标组，将所述目标组中尚未完成任务处理的各个网络节点中、组内次序最高的至少一个网络节点确定为所述要进行任务处理的网络节点。