[发明专利]分布式文件架构的任务处理方法和装置

说明书

本申请提供一种分布式文件架构的任务处理方法和装置。该方法应用于分布式文件架构的任务框架，包括：提取待处理的任务；确定所述任务所属的任务处理器；调用所述任务处理器对所述任务进行处理，并基于所述任务处理器返回的处理结果更新所述任务的处理状态信息；当所述任务处理器返回处理异常的处理结果时，将所述任务和所述任务的处理状态信息记录到异常任务表中；基于预设的策略提取所述异常任务表中的异常任务；根据所述异常任务的处理状态信息，调用所述异常任务所属的任务处理器继续对所述异常任务进行处理。本申请可提高任务处理速率，节省处理资源，避免数据错误。

技术领域

本申请涉及计算机技术领域，尤其涉及一种分布式文件架构的任务处理方法和装置。

背景技术

分布式文件架构通常包括任务框架和若干任务处理器。其中，任务框架可用来调度任务处理器处理相关的任务。一个任务的处理通常包括有多个处理阶段，当某个处理阶段发生异常时，后续需要重新处理该异常任务，如何确保异常任务的执行效率和数据准确率已成为目前亟待解决的问题。

发明内容

有鉴于此，本申请提供一种分布式文件架构的任务处理方法和装置。

具体地，本申请是通过如下技术方案实现的：

一种分布式文件架构的任务处理方法，所述分布式文件架构包括任务框架以及若干任务处理器，所述任务处理方法应用于任务框架，包括：

提取待处理的任务；

确定所述任务所属的任务处理器；

调用所述任务处理器对所述任务进行处理，并基于所述任务处理器返回的处理结果更新所述任务的处理状态信息；

当所述任务处理器返回处理异常的处理结果时，将所述任务和所述任务的处理状态信息记录到异常任务表中；

基于预设的策略提取所述异常任务表中的异常任务；

根据所述异常任务的处理状态信息，调用所述异常任务所属的任务处理器继续对所述异常任务进行处理。

一种分布式文件架构的任务处理装置，所述分布式文件架构包括任务框架以及若干任务处理器，所述任务处理装置应用于任务框架，包括：

任务提取单元，提取待处理的任务；

处理器确定单元，确定所述任务所属的任务处理器；

处理器调用单元，调用所述任务处理器对所述任务进行处理，并基于所述任务处理器返回的处理结果更新所述任务的处理状态信息；

异常记录单元，当所述任务处理器返回处理异常的处理结果时，将所述任务和所述任务的处理状态信息记录到异常任务表中；

异常提取单元，基于预设的策略提取所述异常任务表中的异常任务；

异常处理单元，根据所述异常任务的处理状态信息，调用所述异常任务所属的任务处理器继续对所述异常任务进行处理。

由以上描述可以看出，本申请任务框架可以记录异常任务的处理状态信息，在恢复时可根据该处理状态信息调用任务处理器继续对异常任务进行处理，提高任务处理速率，节省处理资源，避免数据错误。

附图说明

图1是本申请一示例性实施例示出的一种分布式文件架构的任务处理方法的流程示意图。

图2是本申请一示例性实施例示出的一种创建待处理任务的流程示意图。

图3是本申请一示例性实施例示出的一种用于分布式文件架构的任务处理装置的流程示意图。

图4是本申请一示例性实施例示出的一种分布式文件架构的任务处理装置的框图。