[发明专利]任务处理系统、方法、装置及计算机可读存储介质

说明书

本发明公开了一种任务处理系统、方法、装置及计算机可读存储介质。涉及任务处理领域，该方法包括：当检测到目标批量单元加载完成时，获取注册器中的配置信息；基于配置信息确定目标批量单元的任务处理类型；若任务处理类型为第一处理类型，则将目标批量单元中的本地任务并发处理器更新为远程任务并发处理器；若检测到多个批量单元中存在待处理批量单元，则加载待处理批量单元，以将待处理批量单元中的远程任务并发处理器更新为本地任务并发处理器。本发明解决了相关技术中依赖于人工实现本地批处理模式和远程批处理模式的切换造成的人工成本高的技术问题。

技术领域

本发明涉及任务处理领域，具体而言，涉及一种任务处理系统、方法、装置及计算机可读存储介质。

背景技术

典型的批处理具有数据量大的特点(少则百万，多则千万甚至上亿)，通常将任务分区(拆分为多个子任务)并在本地采用多线程并发处理的方式，提高批处理效率，为分散系统执行压力，也可以将子任务分发到远程批量单元或机器上并行处理，以实现批量远程分区处理，但对于同一批量单元而言，其无法同时实现对本地任务的分发(即本地批处理模式)和对远程任务的分发(即远程批处理模式)，只能在本地批处理模式和远程批处理模式之间进行切换。

目前，利用轻量级的、完善的Spring Batch批处理框架，已经满足了任务分区功能，当需要将相关批量单元从本地批处理模式切换为远程批处理模式时，需要通过人工将Spring Batch在Spring Intergration基础上扩展为Spring Batch Intergration，以实现批量远程分区执行的特性，其中，Spring-Intergration用于提供Spring编程模型的拓展，以支持EIP(Enterprise Integration Patterns，企业集成模式)，同样的，当需要将相关批量单元从远程批处理模式切换为本地批处理模式时，也需要人工进行相关配置或框架的更改，从而具有人工成本高、切换效率低的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种任务处理系统、方法、装置及计算机可读存储介质，以至少解决相关技术中依赖于人工实现本地批处理模式和远程批处理模式的切换造成的人工成本高的技术问题。

根据本发明实施例的一个方面，提供了一种任务处理系统，包括：多个批量单元，每个批量单元包括本地任务并发处理器，其中，本地任务并发处理器用于分发本地任务；注册器，用于存储每个批量单元的任务处理类型，并在确定目标批量单元对应的任务处理类型为第一处理类型时，将目标批量单元中的本地任务并发处理器更新为远程任务并发处理器，其中，目标批量单元为多个批量单元中的任意一个批量单元，任务处理类型为第一处理类型或第二处理类型，第一处理类型表征当前批量单元用于分发远程任务至非当前批量单元，第二处理类型表征当前批量单元用于处理本地任务，远程任务并发处理器用于分发远程任务；加载模块，用于检测多个批量单元中是否存在待处理批量单元，并在存在待处理批量单元的情况下，加载待处理批量单元，以将待处理批量单元中的远程任务并发处理器更新为本地任务并发处理器，其中，待处理批量单元为任务处理类型从第一处理类型更新为第二处理类型的批量单元。

进一步地，每个批量单元还包括：任务分区模块，用于生成多个本地任务或多个远程任务，并将多个本地任务发送给本地任务并发处理器，或者，将多个远程任务发送给远程任务并发处理器；其中，本地任务并发处理器，用于获取任务分区模块发送的多个本地任务，并调度当前批量单元中的子任务处理器处理多个本地任务；远程任务并发处理器，用于获取任务分区模块发送的多个远程任务，并将多个远程任务所对应的任务信息发放给至少一个非当前批量单元，以使非当前批量单元根据任务信息获取多个远程任务，并处理多个远程任务。