[发明专利]分布式任务调度方法和系统

权利要求书

1.一种分布式任务调度系统，所述系统包括：

应用服务器，所述应用服务器有多个，用于与中间服务器建立TCP连接，将IP地址和Job信息注册到所述中间服务器；

中间服务器，所述中间服务器有多个，用于管理应用服务器，获取所述应用服务器注册的IP地址和Job信息，将具有相同Job信息的应用服务器划分为一个Job群组，在该Job群组中的多个应用服务器中选举出一个leader应用服务器，并将对应的任务配置信息和Job群组内的各个应用服务器的IP地址下发到该leader应用服务器；

所述leader应用服务器用于根据所述任务配置信息中的分片数将任务进行拆分，并根据Job群组内的各个应用服务器的IP地址将拆分后的子任务进行分配；

所述应用服务器还用于执行被分配的子任务；

分布式协调服务器，用于部署Zookeeper，与所述中间服务器建立连接，由所述Zookeeper统一对所述中间服务器进行协调；

其中，所述Job信息包括任务配置信息、任务标识以及任务执行时间。

2.根据权利要求1所述的系统，其特征在于，所述中间服务器还用于根据所述Job信息查找实际管理该Job信息所对应的任务的目标中间服务器，将所述目标中间服务器的地址返回给所述应用服务器；

所述应用服务器还用于根据所述目标中间服务器的地址与所述目标中间服务器建立TCP连接。

3.根据权利要求1所述的系统，其特征在于，所述中间服务器还用于监控Job群组中的应用服务器的上线或下线，当Job群组中有应用服务器上线或下线时，指示Job群组中的leader应用服务器将对应的任务进行重新分配，并接收所述leader应用服务器返回的新的分配结果。

4.根据权利要求1所述的系统，其特征在于，所述分布式协调服务器还用于通过Zookeeper在多个中间服务器中选举出一个leader中间服务器；

所述leader中间服务器还用于实时监控集群中其他中间服务器节点，若发现有中间服务器掉线，则为所述掉线的中间服务器管理的Job群组分配给一个在线的中间服务器来接管，并在所述Job群组中设置migrate节点，所述migrate节点用于标注Job群组的迁移状态，当迁移完成后，删除该migrate节点；

所述中间服务器还用于实时监控Job群组下的migrate节点，若发现所述migrate节点的IP地址和自身的相同，则接管所述migrate节点所在的Job群组；其中，所述migrate节点的IP地址为重新为该群组分配的中间服务器的IP地址。

5.根据权利要求4所述的系统，其特征在于，所述leader中间服务器还用于若监控到有中间服务器掉线，则判断所述掉线的中间服务器是否正在接管Job群组，若是，则为该Job群组重新分配接管的中间服务器。

6.根据权利要求1所述的系统，其特征在于，所述应用服务器还用于根据所述Job信息判断是否到达任务的执行时间，若是，则从管理该应用服务器的中间服务器中获取对应的分片信息，根据所述分片信息开始执行对应的子任务，并将任务开始执行的信息记录到中间服务器。

7.根据权利要求1-6任一所述的系统，其特征在于，所述系统还包括：

数据库，用于存储Job信息，接收中间服务器发送的任务开始及结束的记录并进行存储。