[发明专利]分布式数据分片存储读取的方法

权利要求书

1.分布式数据分片存储读取的方法，其特征在于，包括如下步骤：

步骤1、通过客户端将文件传输至主服务器，每个文件具备唯一的标识信息；

步骤2、主服务器判断所述文件是否需要分片，若是，则对所述文件进行分片处理，并对每个分片进行多副本处理，使每个分片具有多个副本，否则直接对所述文件进行多副本处理，使所述文件具有多个副本；

步骤3、主服务器将需要分片的文件的每个分片及对应的副本以及不需要分片的文件及对应的副本均存储至各个下载服务器，同时在主服务器进行记录；

步骤4、通过客户端向主服务器发送下载文件请求；

步骤5、主服务器利用文件的标识信息找到文件记录，并根据负载均衡向客户端返回文件下载列表；

步骤6、客户端收到所述文件下载列表后通过多线程访问不同的下载服务器对文件或者分片的文件进行下载，并对需要分片的文件进行校验后合并。

2.根据权利要求1所述的分布式数据分片存储读取的方法，其特征在于，步骤2中，在主服务器根据文件所占内存的大小判断所述文件是否需要分片，当文件所占内存大于等于规定值时，判定需要对该文件进行分片处理，否则判定不需要对该文件进行分片处理。

3.根据权利要求1所述的分布式数据分片存储读取的方法，其特征在于，步骤3中，主服务器根据负载均衡和客户端IP将需要分片的文件的每个分片及对应的副本以及不需要分片的文件及对应的副本均存储至各个下载服务器。

4.根据权利要求1所述的分布式数据分片存储读取的方法，其特征在于，步骤3中，主服务器还同时生成索引信息。

5.根据权利要求4所述的分布式数据分片存储读取的方法，其特征在于，步骤5中，主服务器根据所述索引信息，并利用文件的标识信息找到文件记录。

6.根据权利要求1或5所述的分布式数据分片存储读取的方法，其特征在于，步骤5中，所述文件记录包括文件的分片信息和下载服务器地址信息，所述文件记录以文件下载列表的方式返回至客户端。

7.根据权利要求6所述的分布式数据分片存储读取的方法，其特征在于，步骤6中，下载完成后，对下载好的分片的文件进行md5校验后合并。

8.根据权利要求7所述的分布式数据分片存储读取的方法，其特征在于，步骤6中，对下载好的分片的文件进行md5校验并合并完成后，校验md5。