[发明专利]一种数据下载方法及装置

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种数据下载方法及装置。

背景技术

随着网络技术的发展和网络影响的扩大，硬件错误和网络错误的发生日益普遍，大量数据的存储和计算成为对网络系统性能的挑战。对于网络系统而言，一个适用于大规模分布式数据的、处理相关应用的、可扩展的、安全可靠的NFS(Network File System，网络文件系统)十分重要。该分布式文件系统基于普通的硬件设备，实现容错的设计，并为大量客户端提供极高的聚合处理能力，可以大幅度的提高系统的安全性、并发计算能力以及吞吐能力，对提高各个应用系统的服务质量起到至关重要作用。

如图1所示，NFS系统由一个的NFS Master(NFS主控程序)和一个Scheduler Master(异步扫描主控程序)以及若干Node Server(节点服务器)和Scheduler Client(异步扫描客户端)组成。此外，网络中的NFS Client(NFS客户端)也可以访问NFS系统。在NFS系统中，每个文件都拆分成固定大小的Node(节点)。针对每个节点，NFS Master根据节点创建的时间产生一个全局唯一的且以后不会改变的64位的Node handle(节点标识)。Node Server在本地磁盘上用Linux文件系统保存上述节点，并且根据Node handle和字节区间，通过Linux文件系统读写节点的数据。出于可靠性的考虑，每一个节点都会在不同的Node Server上保存备份。缺省情况下，可以保存2个备份，用户也可以对不同的文件指定不同的复制级别。

NFS Master负责管理所有的文件的元数据，包括名空间、访问控制信息、文件到Node的映射关系、当前Node的位置以及Node的分配管理等等信息。NFS Master和Node Server之间通过定期的心跳报文进行通讯，该心跳报文可以传递信息和Node Server的状态。每个Node Server可以是一个普通的Linux计算机，计算机上运行一个用户级别的服务器进程，用普通的文件来存储数据。Client上传和下载数据时，直接与Node Server通讯。Scheduler Master负责异步扫描、负载均衡、机器变更、Node Server之间的Node镜像管理以及冗余垃圾节点的回收等。各个Node Server上可以分别运行Scheduler Client，负责数据的校验、备份、上报机器状态和负载等，Scheduler Master调度Scheduler Client完成上述任务。

各个应用系统的NFS客户端的代码中包含文件系统的API(ApplicationProgramming Interface，应用程序编程接口)，并与NFS Master和Node Server进行通讯，代表应用程序进行读写数据的操作。NFS客户端和NFS Master进行元数据的操作，但NFS客户端的所有和数据相关的通讯都是直接和NodeServer进行的。

现有技术中，NFS客户端通过API或者命令行工具下载数据时，首先向NFS Master请求下载的数据所在的Node节点信息，根据获取的Node节点信息直接与Node Server通讯，并下载数据。

发明人在实现本发明的过程中，发现现有技术至少存在以下缺陷：

Node Server接收到NFS客户端的下载请求后，直接从磁盘中读取相应的数据并将该数据返回给NFS客户端，然后等待NFS客户端的下一次下载请求；在下一次下载请求到来时，Node Server重复上一次的响应方式，从磁盘中读取相应的数据并将该数据返回给NFS客户端，响应速度慢。另外，在两次下载请求之间，Node Server一直处于等待阶段，造成CPU(Central ProcessingUnit，中央处理单元)、磁盘I/O(Input/Output，输入输出端口)和网络带宽的浪费。

发明内容

本发明提供了一种数据下载方法及装置，用于提高下载数据的速度。

本发明提供了一种数据下载方法，应用于包括节点服务器和客户端的网络文件系统中，所述节点服务器中缓存有预读取的数据，所述预读取的数据为所述节点服务器根据对用户下载日志的分析结果从磁盘中预先读取的数据，所述方法还包括以下步骤：

所述节点服务器接收来自所述客户端的数据下载请求；

当所述预读取的数据符合所述数据下载请求对应的读取要求时，所述节点服务器将所述预读取的数据发送给所述客户端。

优选地，所述的方法，还包括：