[发明专利]分布式系统及其故障恢复方法和装置

说明书

本发明公开了一种分布式系统及其故障恢复方法和装置。其中，从属节点和/或主节点获取并保存记录有主节点上某一时刻的调度信息和系统状态的元数据镜像；主节点获取并保存记录有时刻之后主节点所有操作的重做日志；以及主节点在故障恢复时调用元数据镜像及其对应的重做日志进行故障恢复。由此，在主节点发生故障时，就可以根据之前记录的元数据镜像和重做日志快速将主节点恢复到故障前的状态。

技术领域

本发明涉及分布式技术领域，特别是涉及一种分布式系统及其故障恢复方法和装置。

背景技术

分布式系统是把多台机器有机的组合、连接起来，让其协同完成一项任务，例如计算任务、存储任务。其是建立在网络之上的软件系统。现有的分布式系统大多是主从架构，图1是示出了采用主从架构的分布式系统的结构示意图。如图1所示，主从架构的分布式系统大多由主节点(master)和多个从属节点(slave)构成。主节点作为分布式系统的中心调度节点，通常兼具元数据存储与查询、集群节点状态管理、决策制定与任务下发等功能，由于主节点管理的元数据是系统中较为重要的数据，主节点上的数据的丢失对系统的影响较大。

因此，需要一种故障切换(failover)机制，使得当主节点遇到未知错误发生崩溃时，能够将主节点恢复到错误发生之前的状态，避免主节点数据的丢失。

发明内容

本发明提供了一种针对分布式系统中的主节点的故障恢复方案，通过获取主节点在一个或多个时刻下的元数据镜像，并在重做日志中记录主节点的操作，使得在主节点发生故障时，可以根据之前记录的元数据镜像和重做日志将主节点快速恢复到故障前的状态。

根据本发明的一个方面，提供了一种分布式系统，包括用于调度任务并管理系统状态的主节点和用于运行被调度的任务的多个从属节点，其中，一个或多个从属节点和/或主节点获取并保存记录有主节点上某一时刻的调度信息和系统状态的元数据镜像；主节点获取并保存记录有该时刻之后主节点所有操作的重做日志；以及主节点在故障恢复时调用元数据镜像及其对应的重做日志进行故障恢复。

由此，根据之前记录的元数据镜像和重做日志可以快速将主节点恢复到故障前的状态，与仅通过记录日志文件的方式相比可以提高恢复效率。

优选地，一个或多个从属节点和/或主节点在主节点和/或外部命令的触发下进行元数据镜像的获取和保存操作。由此，可以根据分布式系统的特性，设置不同的触发方式来触发元数据镜像的获取和保存操作。

优选地，主节点在其每一次操作被记录在重做日志内并被存储之后才响应从属节点的请求。由此确保重做日志能够完整记录主节点的每一次操作。

优选地，一个或多个从属节点和/或主节点持续获取并保存主节点在多个不同时刻的元数据镜像，并且主节点持续获取并保存分别对应于多个不同时刻的重做日志。主节点可以在故障恢复时调用最新的元数据镜像及其对应的重做日志进行故障恢复，而当最新的元数据镜像和/或其对应的重做日志不可用时，调用元数据镜像及其对应的重做日志都可用的最近时刻的数据进行故障恢复。由此，通过保存多份不同时刻的内存镜像和对应的重做日志，可以提高故障恢复时的容错率。

优选地，一个或多个从属节点和/或主节点直接获取并保存主节点在某一时刻的内存状态作为元数据镜像。元数据镜像可以是按照任务分组进行存储的。由此，在后续恢复时可以根据分组高效地组织对应的元数据镜像。

根据本发明的另一个方面，还提供了一种分布式系统的故障恢复装置，分布式系统包括用于调度任务并管理系统状态的主节点和用于运行任务的多个从属节点，该装置用于在主节点发生故障时进行故障恢复，并且包括：镜像获取单元，用于获取并保存记录有主节点上某一时刻的调度信息和系统状态的元数据镜像；重做日志获取单元，用于获取并保存记录有时刻之后主节点所有操作的重做日志；以及故障恢复单元，用于在故障恢复时调用元数据镜像及其对应的重做日志进行故障恢复。