[发明专利]一种分布式任务调度系统及方法

权利要求书

1.一种分布式任务调度系统，其特征在于，该系统包括：提交模块、调度模块、数据存储模块、执行模块和监视模块，其中，

所述监视模块，用于对所述执行模块进行监视，获取所述执行模块的使用信息；

所述提交模块，用于将文件解析任务提交给所述调度模块；

所述调度模块，用于接收到文件解析任务后，为每一个文件解析任务生成与之对应任务标识，并将所述文件解析任务放入到数据存储模块中进行存储，获取所述监视模块中存储的执行模块的使用信息，得到可用的执行模块，将所述文件解析任务分别发送至所述执行模块；

所述数据存储模块，用于存储所述文件解析任务的相关数据；

所述执行模块，用于接收到所述文件解析任务后，对所述任务进行相应的执行处理，并将执行结果反馈给所述调度模块。

2.根据权利要求1所述的系统，其特征在于，所述执行模块包括存储单元和询问单元，在所述执行模块接收到所述文件解析任务后，对所述任务进行相应的执行处理，并将执行结果反馈给所述调度模块之后，

所述存储单元，用于当所述调度模块出现故障时，存储所述文件解析任务和所述文件解析任务对应的执行结果；

所述询问单元，用于当将执行结果反馈给所述调度模块时，询问所述调度模块是否有新的文件解析任务需要执行。

3.根据权利要求1所述的系统，其特征在于，所述调度模块包括日志生成单元和判断单元，当所述执行模块将执行结果反馈给所述调度模块后，

所述日志生成单元，用于根据所述执行结果生成任务执行日志，并将所述任务执行日志存储至所述数据存储模块；

所述判断单元，用于根据所述执行结果判断是否要将所述执行结果反馈给所述提取模块，如果否，则将所述执行结果删除，如果是，则将所述执行结果发送至所述提取模块。

4.根据权利要求3所述的系统，其特征在于，所述提取模块还包括处理单元，当所述判断单元将所述执行结果发送至所述提取模块时，

所述处理单元，用于根据所述执行结果进行相应的响应。

5.一种分布式任务调度方法，其特征在于，所述方法适用于权利要求1-4中所述的任一项的分布式调度系统，所述分布式调度系统包括提交模块、调度模块、数据存储模块、执行模块和监视模块，该方法包括：

所述监视模块对所述执行模块进行监视，获取所述执行模块的使用信息；

所述提交模块将文件解析任务提交给所述调度模块；

所述调度模块接收到文件解析任务后，为每一个文件解析任务生成与之对应任务标识，并将所述文件解析任务放入到数据存储模块中进行存储，获取所述监视模块中存储的执行模块的使用信息，得到可用的执行模块，将所述文件解析任务分别发送至所述执行模块；

所述数据存储模块存储所述文件解析任务的相关数据；

所述执行模块接收到所述文件解析任务后，对所述任务进行相应的执行处理，并将执行结果反馈给所述调度模块。

6.根据权利要求5所述的方法，其特征在于，所述执行模块包括存储单元和询问单元，其中，在所述执行模块接收到所述文件解析任务后，对所述任务进行相应的执行处理，并将执行结果反馈给所述调度模块之后，该方法包括：

当所述调度模块出现故障时，所述存储单元存储所述文件解析任务和所述文件解析任务对应的执行结果；

当将执行结果反馈给所述调度模块时，所述询问单元询问所述调度模块是否有新的文件解析任务需要执行。

7.根据权利要求5所述的方法，其特征在于，所述调度模块包括日志生成单元和判断单元，当所述执行模块将执行结果反馈给所述调度模块后，该方法包括：

所述日志生成单元根据所述执行结果生成任务执行日志，并将所述任务执行日志存储至所述数据存储模块；

所述判断单元根据所述执行结果判断是否要将所述执行结果反馈给所述提取模块，如果否，则将所述执行结果删除，如果是，则将所述执行结果发送至所述提取模块。

8.根据权利要求7所述的方法，其特征在于，所述提取模块还包括处理单元，当所述判断单元将所述执行结果发送至所述提取模块时，该方法还包括：

所述处理单元根据所述执行结果进行相应的响应。