[发明专利]一种分布式数据处理协调方法及系统

说明书

技术领域

本发明涉及分布式数据处理相关技术领域，特别是一种分布式数据处理协调方法及系统。

背景技术

当今互联网发展相当迅速，尤其是大数据时代到来，如何快速处理这些数据是所有公司面临的一大挑战，普遍采用的有以下几种方法，

一、采用单实例多线程处理，

这样的缺点是有单点的风险，一旦实例崩溃，所有数据将无法处理，对于大数据处理相对较慢，处理不及时，现在已经基本不用。

二、采用多实例

根据数据进行取模，取模后将不同的数据分给不同的实例，这样解决了系统的单点问题，然而其存在的问题为：当某个实例崩溃掉，相应的系统无法得到通知，就会造成数据无法得到处理。

发明内容

基于此，有必要针对现有技术在对分布式数据处理系统方面存在的问题，提供一种分布式数据处理协调方法及系统。

一种分布式数据处理协调方法，包括：

任务调度器分类步骤，任务调度器对任务调度数据库中的任务进行分类，为每个任务关联批次，同一批次关联一个或多个任务，并将每个批次与一个处理器关联；

处理器获取批次步骤，处理器从任务调度数据库中获取关联的批次；

处理器处理任务步骤，处理器对关联的批次所关联的任务进行处理；

任务调度器重分配步骤，任务调度器定时检查处理器的在线状态，将在线状态为下线的处理器作为下线处理器，将在线状态为在线的处理器作为在线处理器，获取与所述下线处理器关联的批次作为待分配批次，将所述待分配批次重新与一个在线处理器关联。

一种分布式数据处理协调系统，包括：

协调分类模块，用于任务调度器对任务调度数据库中的任务进行分类，为每个任务关联批次，同一批次关联一个或多个任务，并将每个批次与一个处理器关联；

处理器获取批次模块，用于处理器从任务调度数据库中获取关联的批次；

处理器处理任务模块，用于处理器对关联的批次所关联的任务进行处理；

任务调度器重分配模块，用于任务调度器定时检查处理器的在线状态，将在线状态为下线的处理器作为下线处理器，将在线状态为在线的处理器作为在线处理器，获取与所述下线处理器关联的批次作为待分配批次，将所述待分配批次重新与一个在线处理器关联。

本发明由任务调度器对任务进行分类，由处理器对与其关联的批次所关联的任务进行处理，由于采用了任务调度器进行协调，因此，当处理器出现故障下线时，任务调度器对任务进行重新分配，使得分布式处理器能对任务进行协调处理。

附图说明

图1为本发明一种分布式数据处理协调方法的工作流程图；

图2为本发明最佳实施例的系统结构图；

图3为本发明最佳实施例的工作流程图；

图4为本发明一种分布式数据处理协调系统的结构模块图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细的说明。

如图1所示为本发明一种分布式数据处理协调方法的工作流程图，包括：

步骤S101，任务调度器对任务调度数据库中的任务进行分类，为每个任务关联批次，同一批次关联一个或多个任务，并将每个批次与一个处理器关联；

步骤S102，处理器从任务调度数据库中获取关联的批次；

步骤S103，处理器对关联的批次所关联的任务进行处理；

步骤S104，任务调度器定时检查处理器的在线状态，将在线状态为下线的处理器作为下线处理器，将在线状态为在线的处理器作为在线处理器，获取与所述下线处理器关联的批次作为待分配批次，将所述待分配批次重新与一个在线处理器关联。

其中，在任务调度器执行完步骤S101后，处理器会持续执行步骤S102和步骤S103以更新其所关联的批次，从而知道其所需要执行的任务。同时，任务调度器也会持续执行步骤S104以便定时检查处理器的在线状态。

上述步骤S102、S103和S104均长期执行直到接收到停止运行命令。

通过任务调度器执行步骤S104，使得下线处理器所处理的任务，能够由其他在线处理器及时处理。

本发明采用的是任务调度器专门进行对任务进行分配，使得处理器无需自行管理协调任务，提高了处理器的处理速度。