[发明专利]分布式文件架构的任务处理方法和装置

权利要求书

1.一种分布式文件架构的任务处理方法，所述分布式文件架构包括任务框架以及若干任务处理器，所述任务处理方法应用于任务框架，包括：

提取待处理的任务；

确定所述任务所属的任务处理器；

调用所述任务处理器对所述任务进行处理，并基于所述任务处理器返回的处理结果更新所述任务的处理状态信息；所述处理状态信息用于指示所述任务已完成的处理阶段；

当所述任务处理器返回处理异常的处理结果时，将所述任务和所述任务的处理状态信息记录到异常任务表中；

基于预设的策略提取所述异常任务表中的异常任务；

根据所述异常任务的处理状态信息，调用所述异常任务所属的任务处理器继续对所述异常任务进行处理；

所述根据所述异常任务的处理状态信息，调用所述异常任务所属的任务处理器继续对所述异常任务进行处理，包括：

确定所述处理状态信息对应的下一处理阶段；

调用所述异常任务所属的任务服务器对所述异常任务进行所述下一处理阶段的处理。

2.根据权利要求1所述的方法，所述任务的处理状态信息包括：

Pending状态，用于表示所述任务已被创建；

SplitUp状态，用于表示所述任务已被拆分为多个子任务；

Merging状态，用于表示所述子任务均已处理完毕；

Merged状态，用于表示所述子任务已合并完毕；

Finalize状态，用于表示所述任务已完成扫尾处理。

3.根据权利要求1所述的方法，所述方法还包括：

接收任务处理器发送的待处理任务的元数据；

根据所述元数据创建对应的任务；

其中，所述元数据由所述任务处理器在根据所述待处理任务的幂等字段确定所述任务未被创建时获取。

4.根据权利要求3所述的方法，

所述幂等字段包括能够唯一确定一个任务的信息。

5.一种分布式文件架构的任务处理装置，所述分布式文件架构包括任务框架以及若干任务处理器，所述任务处理装置应用于任务框架，包括：

任务提取单元，提取待处理的任务；

处理器确定单元，确定所述任务所属的任务处理器；

处理器调用单元，调用所述任务处理器对所述任务进行处理，并基于所述任务处理器返回的处理结果更新所述任务的处理状态信息；所述处理状态信息用于指示所述任务已完成的处理阶段；

异常记录单元，当所述任务处理器返回处理异常的处理结果时，将所述任务和所述任务的处理状态信息记录到异常任务表中；

异常提取单元，基于预设的策略提取所述异常任务表中的异常任务；

异常处理单元，根据所述异常任务的处理状态信息，调用所述异常任务所属的任务处理器继续对所述异常任务进行处理；

所述异常处理单元，确定所述处理状态信息对应的下一处理阶段，并调用所述异常任务所属的任务服务器对所述异常任务进行所述下一处理阶段的处理。

6.根据权利要求5所述的装置，所述任务的处理状态信息包括：

Pending状态，用于表示所述任务已被创建；

SplitUp状态，用于表示所述任务已被拆分为多个子任务；

Merging状态，用于表示所述子任务均已处理完毕；

Merged状态，用于表示所述子任务已合并完毕；

Finalize状态，用于表示所述任务已完成扫尾处理。

7.根据权利要求5所述的装置，所述装置还包括：

任务创建单元，接收任务处理器发送的待处理任务的元数据，并根据所述元数据创建对应的任务；其中，所述元数据由所述任务处理器在根据所述待处理任务的幂等字段确定所述任务未被创建时获取。

8.根据权利要求7所述的装置，

所述幂等字段包括能够唯一确定一个任务的信息。