[发明专利]一种集群数据处理系统中的在线故障容错方法

摘要

一种集群数据处理系统中的在线故障容错方法，包括以下步骤：步骤1：前一级处理节点将处理结果以文件碎片方式存储；步骤2：下一级处理节点读取文件碎片继续处理；步骤3：使用数据库记录每个节点上处理的文件碎片标记；步骤4：当检测到节点故障时，启动新节点代替故障节点工作；步骤5：新节点从数据库中读取故障节点上的文件碎片，恢复故障现场。本发明实现了数据处理过程中的故障容错。

主权项

一种集群数据处理系统中的在线故障容错方法，其特征在于包括以下步骤：（1）将集群数据处理系统按照数据处理流程划分为多级计算环节，每级计算环节通过其中的计算节点协同完成；（2）将上一级计算环节的结果以文件碎片方式存储，用于实现各级计算节点之间的数据传递工作；（3）下一级计算节点读取步骤（2）中文件碎片存储的结果进行计算并存储为下一级计算节点使用；（4）集群数据处理系统记录每级计算节点的运行状态以及每级计算节点与文件碎片的对应关系；（5）根据步骤（4）中集群数据处理系统记录的运行状态对计算节点进行检测，当检测到计算节点发生故障时，进行任务分配判断，若为故障计算节点正在执行的任务，则进入步骤（6）；若为故障计算节点待执行的任务，则进入步骤（7）；（6）启动备份计算节点代替故障计算节点进行正在执行的任务的处理并进入步骤（8）；（7）将故障计算节点需要承担的待执行的任务分散到其他的计算节点上来完成进入步骤（9）；（8）备份计算节点从数据库恢复故障现场，读取正在执行的任务对应的文件碎片，用于代替故障节点继续工作，实现整个集群数据系统在运行过程中的在线故障恢复进入步骤（9）；（9）结束。