[发明专利]基于纠删码的分布式数据存储方法及系统

说明书

本发明实施例提供一种基于纠删码的分布式数据存储方法及系统，所述方法包括：客户端将待存储数据写入缓存服务器中；缓存服务器对待存储数据进行缓存；当达到预定条件时，中转服务器向缓存服务器拉取预定大小的缓存数据，对缓存数据使用纠删码编码方式进行编码并生成校验数据；以及中转服务器将缓存数据写入存储服务器的多个数据块中，将校验数据写入存储服务器的至少一个校验块中。

技术领域

本发明涉及计算机互联网技术，尤其涉及一种基于纠删码的分布式数据存储方法及系统。

背景技术

分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

目前的分布式存储的主流方案都是使用了多副本的存储方式，即业务数据在多台设备上各存储一份完整的副本。但是，在多副本的存储方式下，主流的分布式存储业务需要的IOPS(Input/Output Operations Per Second的简称，即每秒进行读写(I/O)操作的次数)能力远远低于硬件所能提供的能力，而且成本也很高。

为了解决成本高以及I/O浪费的问题，现在出现了基于纠删码(Raid或者RS等)的各种分布式存储方案。每个文件先分为一个或多个数据分片，然后再将这些分片作为数据块进行编码，生成多个校验块，从而保证整个存储系统的可用性和耐久性。其中，最常见的编码方式为按文件切分的编码方式。

按文件切分的编码方式，指的是在一些分布式存储系统中，将文件切分成多个分片，每个分片单独保存一份。同时将K个分片使用纠删码的方式进行编码，生成M个分片。这样K+M个分片组成一个条带。该系统的典型代表如开源的HDFS Raid。但是，这种方式最大的问题是对于小文件支持非常差。比如采用K+M的编码方式的话，那么即使对于只有4K的小文件，也需要K次I/O才可以将文件内容完全还原出来。这样就会造成磁盘性能的极大浪费。而且因为每次下载的I/O次数过多，这样也会造成下载操作的时延取决于最慢的那个I/O操作，最终体现给用户的时延过长。

发明内容

有鉴于此，有必要提供一种新的分布式数据存储方法及系统，既可以保证低延时，又可以确保数据的一致性和完整性。

本发明一实施例提出一种基于纠删码的分布式数据存储方法，包括：客户端将待存储数据写入缓存服务器中；所述缓存服务器对所述待存储数据进行缓存；当达到预定条件时，中转服务器向所述缓存服务器拉取预定大小的缓存数据，对所述缓存数据使用纠删码编码方式进行编码并生成校验数据；以及所述中转服务器将所述缓存数据写入存储服务器的多个数据块中，将所述校验数据写入所述存储服务器的至少一个校验块中。

本发明另一实施例还提出一种基于纠删码的分布式数据存储系统，包括：客户端、缓存服务器、中转服务器以及存储服务器。所述客户端用于将待存储数据写入所述缓存服务器中；所述缓存服务器用于对所述待存储数据进行缓存；当达到预定条件时，所述中转服务器向所述缓存服务器拉取预定大小的缓存数据，对所述缓存数据使用纠删码编码方式进行编码并生成校验数据；以及所述中转服务器还用于将所述缓存数据写入存储服务器的多个数据块中，将所述校验数据写入所述存储服务器的至少一个校验块中。

相对于现有技术，本发明各实施例提出的基于纠删码的分布式数据存储方法及系统，将上传数据写入可靠的写缓存，并且使用异步编码方式持久化成条带数据的方式，既保证了低延时，同时又确保了条带数据的一致性和完整性。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明