[发明专利]基于纠删码的分布式文件系统存储方法及装置

说明书

技术领域

本发明涉及计算机互联网技术领域，尤其涉及一种基于纠删码的分布式文件系统存储方法及装置。

背景技术

随着网络技术及信息处理技术的不断发展，个人数据和企业数据的产生量呈现爆炸性膨胀的趋势，IT系统正面临着海量数据存储成本高、管理困难、可靠性低的问题，为了充分利用资源，减少重复的投资，数据存储作为IT系统的主要架构和基础设施之一，逐步被作为一个完整的系统从IT系统中独立出来。分布式文件系统因为具有海量数据存储、高扩展性、高性能、高可靠性、高可用性的特点，目前正被作为企业海量数据存储方案被业界所广泛讨论和应用。因此对于分布式文件系统的研究不仅紧跟目前发展的趋势，而且具有较高的应用价值。

在如金融行业、保险行业、电信行业等对数据安全可靠性要求高的行业，为了保证数据的高可靠性，通常采用数据冗余备份的方法进行容灾。传统的数据容灾方式通过对原始数据进行完全复制备份，将备份数据存储在异地的存储服务端上，但是这种容灾方式花费的成本十分高昂。

发明内容

本发明的主要目的在于提供一种基于纠删码的分布式文件系统存储方法，旨在降低待存储数据所占用的空间。

为实现上述目的，本发明提供的一种基于纠删码的分布式文件系统存储方法，所述基于纠删码的分布式文件系统存储方法包括：

获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；

对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；

存储K份所述待存储数据和M份所述校验数据。

优选地，所述对所述待存储数据和所述校验数据进行分片处理之前还包括：

根据存储空间设置适当的纠删码比例，即K：M。

优选地，所述对所述待存储数据和所述校验数据进行分片处理包括：

判断所述待存储数据的长度是否为分片长度的K倍；

若否，则在所述待存储数据的末端添加数据以使所述待存储数据的长度达到分片长度的K倍。

优选地，所述存储K份所述待存储数据和M份所述校验数据包括：

判断所述客户端请求的存储地址是否为缓存层；

若是，则将所述K份所述待存储数据和M份所述校验数据存入所述缓存层；

若否，则将所述K份所述待存储数据和M份所述校验数据存入存储层。

优选地，K份所述待存储数据和M份所述校验数据中均包括用于查找自身数据的检索信息。

此外，为实现上述目的，本发明还提供一种基于纠删码的分布式文件系统存储装置，所述基于纠删码的分布式文件系统存储装置包括：

获取模块，用于获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；

分片模块，用于对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；

存储模块，用于存储K份所述待存储数据和M份所述校验数据。

优选地，所述基于纠删码的分布式文件系统存储装置还包括：

设置模块，用于根据存储空间设置适当的纠删码比例，即K：M。

优选地，所述分片模块包括：

第一判断单元，用于判断所述待存储数据的长度是否为分片长度的K倍；

添加单元，用于在所述待存储数据的长度不足分片长度的整数倍时，在所述待存储数据的末端添加数据以使所述待存储数据的长度达到分片长度的K倍。

优选地，所述存储模块包括：

第二判断单元，用于判断所述客户端请求的存储地址是否为缓存层；

第一存储单元，用于在所述客户端请求的存储地址是缓存层时，将所述K份所述待存储数据和M份所述校验数据存入所述缓存层；

第二存储单元，用于在所述客户端请求的存储地址不是缓存层时，将所述K份所述待存储数据和M份所述校验数据存入存储层。

优选地，K份所述待存储数据和M份所述校验数据中均包括用于查找自身数据的检索信息。