[发明专利]分布式数据分片存储读取的方法

说明书

本发明涉及数据的分片读取领域，提出一种分布式数据分片存储读取的方法，包括：通过客户端将文件传输至主服务器；主服务器判断文件是否需要分片，若是则对文件进行分片处理，并对每个分片进行多副本处理，使每个分片具有多个副本，否则直接对文件进行多副本处理，使文件具有多个副本；主服务器将需要分片的文件的每个分片及对应的副本以及不需要分片的文件及对应的副本均存储至各个下载服务器，并记录；向主服务器发送下载文件请求；主服务器利用文件的标识信息找到文件记录，并根据负载均衡向客户端返回文件下载列表；客户端收到文件下载列表后通过多线程访问不同的下载服务器对文件或者分片的文件进行下载，并对需要分片的文件进行校验后合并。

技术领域

本发明涉及数据的分片读取领域，具体涉及一种分布式数据分片存储读取的方法。

背景技术

在通信技术快速发展的今天，互联网不断探索着更高的速率和更低的延迟，各大主流厂商都在筹备5G、WIFI6相关的技术。而互联网种最常见的功能就是文件下载，无论是音乐、视频、网页其本质都是从服务器进行下载后在本机进行渲染。而下载这一最核心的功能，目前加速的方式主要有CDN加速和多线程加速，CDN加速是服务器端实现的加速，多线程加速则是客户端实现的加速。

CDN加速是根据地域在全国范围内部署CDN服务器，在用户访问网站时，分配到最近的可以访问的服务器，提高下载速度。多线程下载则是开启多个线程对文件分片后请求服务器，然后拼接为一个文件。CDN是通过减少数据在网络中转发次数、滞留时间提高速度，多线程则是依靠多个线程抢占带宽达到这一目的。但上述方式都是单方面的进行优化，如果客户端和服务器都同时支持一种方法，能够在客户端上支持多线程访问地域中多个服务器进行分片下载，将又是一种新的方式。

发明内容

本发明的目的是提供一种分布式数据分片存储读取的方法，用于提升用户在浏览互联网时的速率，减少用户在下载时的等待，让用户得到极佳的上网体验。

本发明解决其技术问题，采用的技术方案是：

分布式数据分片存储读取的方法，包括如下步骤：

步骤1、通过客户端将文件传输至主服务器，每个文件具备唯一的标识信息；

步骤2、主服务器判断所述文件是否需要分片，若是，则对所述文件进行分片处理，并对每个分片进行多副本处理，使每个分片具有多个副本，否则直接对所述文件进行多副本处理，使所述文件具有多个副本；

步骤3、主服务器将需要分片的文件的每个分片及对应的副本以及不需要分片的文件及对应的副本均存储至各个下载服务器，同时在主服务器进行记录；

步骤4、通过客户端向主服务器发送下载文件请求；

步骤5、主服务器利用文件的标识信息找到文件记录，并根据负载均衡向客户端返回文件下载列表；

步骤6、客户端收到所述文件下载列表后通过多线程访问不同的下载服务器对文件或者分片的文件进行下载，并对需要分片的文件进行校验后合并。

进一步的是，步骤2中，在主服务器根据文件所占内存的大小判断所述文件是否需要分片，当文件所占内存大于等于规定值时，判定需要对该文件进行分片处理，否则判定不需要对该文件进行分片处理。

进一步的是，步骤3中，主服务器根据负载均衡和客户端IP将需要分片的文件的每个分片及对应的副本以及不需要分片的文件及对应的副本均存储至各个下载服务器。

进一步的是，步骤3中，主服务器还同时生成索引信息。

进一步的是，步骤5中，主服务器根据所述索引信息，并利用文件的标识信息找到文件记录。

进一步的是，步骤5中，所述文件记录包括文件的分片信息和下载服务器地址信息，所述文件记录以文件下载列表的方式返回至客户端。