[发明专利]批处理集群系统以及方法

说明书

本申请公开了一种批处理集群系统，所述系统包括：多个任务主节点，用于通过领域特定语言定义批处理任务的具体配置、分解和运行流程；多个执行子节点，用于根据所述具体配置、分解和运行流程来执行所述批处理任务中的分解步骤；以及分布式协调器，用于管理所述多个任务主节点，其中在任一时刻，在所述多个任务主节点中只有一个任务主节点被所述分布式协调器选择处于工作状态，而所述多个任务主节点中的其它节点则处于备用状态。本申请还公开了一种该批处理集群系统执行的方法。

技术领域

本发明涉及批处理应用，更具体来说，涉及一种批处理集群系统以及方法。

背景技术

目前业内批处理系统在大部分实际应用场景下，都在一台机器上完成批处理的整体运行，因此运行失败，只能手动恢复（重新启动任务），同时还需要检测运行失败的批处理元数据，甚至需要手动修改状态数据，从而导致系统不易维护和使用，业务无法连续。现有的批处理系统的具体缺点如下：

1）批处理系统没有灵活的异常处理机制，无法灵活配置异常忽略机制，以及异常重试机制，从而保证批处理任务的连续性和健壮性。

2）批处理系统自身提供的主从方式，主节点有单点故障，因此故障无法自动转移恢复，同时子节点如果运行失败，也无法保证任务故障转移。

3）集群中对子节点任务分发是固定的，无法根据子节点的运行负载状况和任务的具体情况动态配置，因此无法真正高效的利用服务器的性能，来提高批处理效率。

发明内容

为了解决上述问题，本申请提供了一种批处理集群系统，所述系统包括：多个任务主节点，用于通过领域特定语言定义批处理任务的具体配置、分解和运行流程；多个执行子节点，用于根据所述具体配置、分解和运行流程来执行所述批处理任务中的分解步骤；以及分布式协调器，用于管理所述多个任务主节点，其中在任一时刻，在所述多个任务主节点中只有一个任务主节点被所述分布式协调器选择处于工作状态，而所述多个任务主节点中的其它节点则处于备用状态。

在上述批处理集群系统中，所述分布式协调器配置成存储批处理运行过程中的所有元数据。

在上述批处理集群系统中，处于工作状态的任务主节点配置成在运行过程中向所述分布式协调器写入与任务的运行以及状态相关的元数据信息，而所述多个执行子节点配置成在运行过程中向所述分布式协调器写入与所述任务中分解步骤的运行以及状态相关的元数据信息。

在上述批处理集群系统中，所述任务主节点包括：健康检查协调器，用于侦测处于工作状态的任务主节点的健康状况；故障恢复控制器，用于在所述处于工作状态的任务主节点无法正常工作时，根据存储的运行时元数据进行批处理运行上下文的恢复；任务分解处理器，用于根据预先配置的任务和数据分解策略对任务或数据进行拆分，并将拆分后的数据通过虚拟文件系统接口存放到文件中；以及任务执行协调器，用于负责分发任务主节点分解的任务。

在上述批处理集群系统中，所述任务执行协调器进一步配置成依据各执行子节点的运行负载和健康状态，对分解的任务进行分发。

在上述批处理集群系统中，所述执行子节点包括心跳器，用于定时向所述任务执行协调器发送健康消息。

根据本申请的另一个方面，提供了一种由根据之前所述的批处理集群系统执行的方法，所述方法包括：从外部系统接收向所述批处理集群系统提交的任务；由所述批处理集群系统中处于工作状态的一个任务主节点进行任务和数据拆分，并在所述拆分完成之后，进行步骤分解的子任务的分发；由所述批处理集群系统中的执行子节点执行由所述任务主节点分发过来的任务，并在执行过程中更新所述批处理集群系统中的分布式协调器中批处理运行的元数据信息；以及由所述任务主节点监测步骤分解的所有子任务是否执行成功；其中，在任一时刻，在所述多个任务主节点中只有一个任务主节点被所述分布式协调器选择处于工作状态，而所述多个任务主节点中的其它节点则处于备用状态。