[发明专利]一种集群文件系统数据容错的方法

说明书

技术领域

本发明涉及计算机应用技术领域，通常适用于分布式、并行文件系统中，能够最大化的保证数据不丢失，维护数据一致性。 具体地说是一种集群文件系统数据容错的方法。

背景技术

目前分布式集群文件系统数据容错的方法一般采用副本、复制、或者是借助于阵列上的RAID级别来进行数据保护，基本上分布式文件系统都采用上述几种方法。本发明则是借鉴这些发明基础上，提出一种新的分布式集群文件系统数据容错的方法，能够实现分布式集群文件系统的数据保护。

发明内容

本发明的目的是提供一种集群文件系统数据容错的方法。

本发明的目的是按以下方式实现的，系统包括：客户端模块（1）；元数据集群（2）；存储服务器集群（3）；数据保护模块（4），其中：   

客户端模块（1）是访问文件系统的入口，负责用户的数据请求；

元数据集群（2）负责存储用户数据的元数据部分；

数据存储集群（3）提供数据存储单元，负责存储数据，包括去掉元数据之后的数据；

数据保护模块（4）的作用是保护用户数据，防止用户数据丢失，数据保护模块（4），能够对用户写入的数据进行校验，并生成相应的校验块，然后把数据和校验块一起进行存储，当集群文件系统中的存储服务器或者存储服务器上的磁盘坏掉的时候，通过校验块能够进行数据恢复，从而最大程度的保护数据安全，具体步骤如下：

1）假设客户端模块（1）要写入的数据位dataFile，并且被分成两个条带stripe1,stripe2；

2）条带stripe1被分成的数据块为D0 ,D1,条带stripe2被分成数据块为D2,D3；

3）数据保护模块（4）会进行校验块生成，数据块D0,D1通过计算生成的校验块为P0，数据块D2,D3生成的校验块为P1；

4）各个数据块和校验块同时写入到磁盘中；

5）假设当数据块D0出现故障，那么数据保护模块（4）会自动根据校验块P0和数据块D1重新计算，从而恢复出数据块D0，这样又保证了数据的完整性，保证数据不丢失。

本发明的有益效果是：适用于分布式集群文件系统，该方法能够极大的提高用户数据的安全性，防止用户数据丢失，是一种智能化的数据安全存储方法。该方法主要创新是在于客户端模块（1）把用户数据分成条带存储，每个条带单元分成多个单位更小的数据块，然后通过数据保护模块（4）把多个数据块进行校验，计算生成校验码。生成的校验码和数据块一起写入到不同的存储服务器集群（3）节点上。这样，当单个存储服务器或者磁盘坏掉的时候，数据保护模块（4）会根据校验块和其他正常的数据块进行计算，重新生成数据，从而保证丢失的数据能够重新恢复出来，保证在集群故障的时候不会出现数据丢失。

附图说明

图1是数据正常写入的情况；

图2 是数据块出现故障，重新恢复的情况。

具体实施方式

参照说明书附图对本发明的方法作以下详细地说明。

系统包括：客户端模块（1）；元数据集群（2）；存储服务器集群（3）；数据保护模块（4），其中：   

客户端模块（1）是访问文件系统的入口，负责用户的数据请求；

元数据集群（2）负责存储用户数据的元数据部分；

数据存储集群（3）提供数据存储单元，负责存储数据，包括去掉元数据之后的数据；

数据保护模块（4）的作用是保护用户数据，防止用户数据丢失，数据保护模块（4），能够对用户写入的数据进行校验，并生成相应的校验块，然后把数据和校验块一起进行存储，当集群文件系统中的存储服务器或者存储服务器上的磁盘坏掉的时候，通过校验块能够进行数据恢复，从而最大程度的保护数据安全，具体步骤如下：

1）假设客户端模块（1）要写入的数据位dataFile，并且被分成两个条带stripe1,stripe2；

2）条带stripe1被分成的数据块为D0 ,D1,条带stripe2被分成数据块为D2,D3；

3）数据保护模块（4）会进行校验块生成，数据块D0,D1通过计算生成的校验块为P0，数据块D2,D3生成的校验块为P1；

4）各个数据块和校验块同时写入到磁盘中；

5）假设当数据块D0出现故障，那么数据保护模块（4）会自动根据校验块P0和数据块D1重新计算，从而恢复出数据块D0，这样又保证了数据的完整性，保证数据不丢失。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。