[发明专利]一种实现多元数据一致性的方法

说明书

技术领域

本发明涉及多元数据的存储以及一致性问题，具体来说，涉及一种实现多元数据一致性的方法。

背景技术

在分布式文件系统中，元数据之间存在相关性，这表现在很多操作要同时修改几部分的元数据，当只有部分数据修改时，系统是不一致的，即这种相关性受到破坏。当整个操作完成时，系统从一个一致状态转移到另一个一致的状态。当系统处于不一致状态时，受影响的元数据及相关的数据将不能被正确使用，甚至成为垃圾。如果系统不纠正该问题，而继续运行，将造成更大的损害。

对于多元数据服务器，每个元数据存储于不同节点，当节点发生崩溃时，这些节点上的元数据就会处于一个不一致的状态，导致元数据服务不可用。因此，如何保证多个元数据服务器上的元数据一致性是影响元数据可靠性的重要因素。

为了保证元数据的一致性，日志系统均采用先写日志后应用磁盘的策略，这样即使其发生崩溃时，未应用到磁盘的操作也可以通过重新应用日志来保证其一致性。然而，传统的本地日志系统如EXT3文件系统等，均适用于单副本的元数据服务器下，无法保证多个元数据服务器上的元数据的一致性。

同时，考虑到不同的分布式文件系统的应用场景，其对性能和安全性的需求是不同，因此，日志系统也需要针对性的进行均衡，提供不同的一致性策略。

发明内容

本发明旨在公开一种实现多元数据一致性的方法，目的是满足分布式文件系统中多元数据服务器的一致性。

一种实现多元数据一致性的方法，

主元数据副本收到客户端元数据请求后，将元数据请求保存到内存，并发送传播请求给从元数据副本，从元数据副本接收到传播请求后，与主元数据副本同步将元数据请求保存到内存，并返回传播请求应答给主元数据副本；

主元数据副本收到传播请求应答后，将元数据请求提交到日志设备，同时发送提交请求给从元数据副本，从元数据副本接收到提交请求后，与主元数据副本同步将元数据请求提交到日志设备，并返回提交请求应答给主元数据副本；

若上一步中从元数据副本收到了主元数据副本发出的提交请求，则从元数据副本将元数据请求应用到磁盘，回收内存空间，否则保存在本地对应的日志文件中；若主元数据副本收到了从元数据副本返回的提交请求应答，则主元数据副本将元数据请求应用到磁盘，回收内存空间，否则保存在本地对应的日志文件中。

优选的，所述元数据请求的结果若未返回客户端，客户端在超时后重新发送该元数据请求。

优选的，若所述主元数据副本需要修复时，从元数据副本将其元数据传给主元数据副本使其修复。

优选的，若所述从元数据副本需要修复时，主元数据副本将其保存的日志信息同步到从元数据副本。

优选的，所述客户端的返回模式有三种，

快速模式：当主副本保存到内存后，返回客户端；

同步模式：当从副本回复传播请求后，返回客户端；

安全模式：当从副本回复提交请求后，返回客户端。

本发明的提供了一种适应于多元数据服务器下的一致性方法，针对性能和可靠性进行均衡，给出一种多模式的一致性方法；通过本发明提供的方法，日志系统可以方便的修复元数据并保持多元数据服务器上的一致性。

附图说明

图1是本发明的流程图

具体实施方式

本发明中的技术方案具体描述如下：

(1)为了实现多个元数据服务器上的一致性，将元数据操作的可靠性操作分为几个阶段：

●保存到内存

●写入日志设备

●写入磁盘

●同步到磁盘

通过在不同的阶段进行元数据服务器之间的通信，将元数据请求进行发送，其具体流程如图1：

客户端发出申请后，主副本接收请求，将其写入内存，同时与从副本进行内存阶段同步，内存阶段同步靠的是传播请求。

图1中的传播请求，是指将本次元数据请求进行发送，而提交请求是通知对应本节点已写入日志设备，并通知对方。

内存同步后将请求提交到日志设备，进行日志提交阶段的同步，也是通过信号的传递来达到这一目的。

在提交日志设备的请求同步后，主副本和从副本都将其写入磁盘，并回收内存空间，否则保存在本地对应的日志文件中。

针对元数据操作的各个流程发生故障，分别进行阐述如何修复如下：

主副本保存至内存阶段：未返回客户端，最终客户端超时，并重新发送该元数据请求。

主副本提交日志设备阶段：从副本应用从副本上的元数据，并回传到主副本上使其修复并保持一致。