[发明专利]批处理集群系统以及方法

权利要求书

1.一种批处理集群系统，其特征在于，所述系统包括：

多个任务主节点，用于通过领域特定语言定义批处理任务的具体配置、分解和运行流程；

多个执行子节点，用于根据所述具体配置、分解和运行流程来执行所述批处理任务中的分解步骤；以及

分布式协调器，用于管理所述多个任务主节点，其中在任一时刻，在所述多个任务主节点中只有一个任务主节点被所述分布式协调器选择处于工作状态，而所述多个任务主节点中的其它节点则处于备用状态，

其中所述任务主节点包括：

健康检查协调器，用于侦测处于工作状态的任务主节点的健康状况；

故障恢复控制器，用于在所述处于工作状态的任务主节点无法正常工作时，根据存储的运行时元数据进行批处理运行上下文的恢复；

任务分解处理器，用于根据预先配置的任务和数据分解策略对任务或数据进行拆分，并将拆分后的数据通过虚拟文件系统接口存放到文件中；以及

任务执行协调器，用于负责分发任务主节点分解的任务。

2.如权利要求1所述的批处理集群系统，其中，所述分布式协调器配置成存储批处理运行过程中的所有元数据。

3.如权利要求2所述的批处理集群系统，其中，处于工作状态的任务主节点配置成在运行过程中向所述分布式协调器写入与任务的运行以及状态相关的元数据信息，而所述多个执行子节点配置成在运行过程中向所述分布式协调器写入与所述任务中分解步骤的运行以及状态相关的元数据信息。

4.如权利要求1所述的批处理集群系统，其中，所述任务执行协调器进一步配置成依据各执行子节点的运行负载和健康状态，对分解的任务进行分发。

5.如权利要求1所述的批处理集群系统，其中，所述执行子节点包括心跳器，用于定时向任务执行协调器发送健康消息。

6.如权利要求1所述的批处理集群系统，其中，所述具体配置包括异常忽略机制和重试机制，其中所述任务主节点配置成在批处理运行过程中遇到异常时，根据所定义的异常忽略机制和重试机制，跳过该异常继续执行，或者重试执行，从而尽量保证批处理任务的连续性。

7.一种由根据权利要求1所述的批处理集群系统执行的方法，所述方法包括：

从外部系统接收向所述批处理集群系统提交的任务；

由所述批处理集群系统中处于工作状态的一个任务主节点进行任务和数据拆分，并在所述拆分完成之后，进行步骤分解的子任务的分发；

由所述批处理集群系统中的执行子节点执行由所述任务主节点分发过来的任务，并在执行过程中更新所述批处理集群系统中的分布式协调器中批处理运行的元数据信息；以及

由所述任务主节点监测步骤分解的所有子任务是否执行成功；

其中，在任一时刻，在所述多个任务主节点中只有一个任务主节点被所述分布式协调器选择处于工作状态，而所述多个任务主节点中的其它节点则处于备用状态，其中所述任务主节点包括：

健康检查协调器，用于侦测处于工作状态的任务主节点的健康状况；

故障恢复控制器，用于在所述处于工作状态的任务主节点无法正常工作时，根据存储的运行时元数据进行批处理运行上下文的恢复；

任务分解处理器，用于根据预先配置的任务和数据分解策略对任务或数据进行拆分，并将拆分后的数据通过虚拟文件系统接口存放到文件中；以及

任务执行协调器，用于负责分发任务主节点分解的任务。

8.如权利要求7所述的方法，其中，在批处理执行过程中，所述批处理集群系统中的分布式协调器不断监控处于工作状态的一个任务主节点的状态，并且在所述处于工作状态的任务主节点无法工作时，所述分布式协调器配置成挑选其它可用的任务主节点来继续服务，并由该可用的任务主节点调用故障恢复控制器来进行故障恢复。

9.如权利要求8所述的方法，其中，所述故障恢复控制器通过如下步骤来进行故障恢复：从所述分布式协调器获得最新的批处理元数据信息；以及

如果某个任务处于正在执行的状态，则重新启动该任务。

10.如权利要求7所述的方法，其中，所述批处理集群系统中的执行子节点定时向所述任务主节点中的任务执行协调器报告健康状态，并且在所述执行子节点无法工作时，所述任务执行协调器将未处理完成的子任务连同运行信息发给其它可用的执行子节点。