[发明专利]一种基于服务器群集的数据文件存储、分发和应用的系统和方法

说明书

【技术领域】

本发明涉及计算机及网络和通讯领域，特别是数据文件的存储、分发和应用的方法与系统。

【背景技术】

从数据的存储、分发和应用的角度看，目前通过互联网实现信息的传播和共享主要有两种方式：

一、数据存储在服务器或其它客户机端，用户通过网络从远端直接获取数据并在自己的客户机上使用。这种方式带来的问题是如果大量用户集中访问服务器将使得服务器和主干网络出现阻塞，导致服务器和网络的响应变慢，时滞增大甚至无法访问。虽然如如图一所示的内容分发网络(CDN)技术可以解决这个问题，但成本较高，只能实现单向分发。如如图二所示的Peer to Peer(P2P)技术能够以最低的成本有效地解决服务器阻塞的问题，但需要占用客户机的资源，由于客户机的产权是用户的，因此难以有效地管理和利用客户机的资源，同时还会大量占用主干网络的带宽。此外，无论是CDN还是P2P均只能提供内容的分发服务，无法提供有效的存储服务。

二、用户通过网络将数据下载到客户机存储后再使用这些数据，下载源可以是服务器，也可以是其它的客户机。由于需要将数据下载到客户机后再使用，因此下载和存储数据文件会占用客户机的资源和时间，在有大量数据需要下载时开销将会很大。如果用户采用P2P的方式通过网络分发存储在客户机上的数据时，还会大量占用主干网络的带宽。

【发明内容】

为了解决上述问题，本发明提出一种系统和方法，在互联网上部署如图三所示由分布式服务器群集构成的存储分发平台，平台可以在最接近用户的服务器上分配足够的存储空间供用户上传、下载和存储数据文件，使得用户可以将数据文件下载或上传到服务器的用户存储空间后再使用或分发。由于分配给用户存储空间的服务器部署在最接近用户的网络节点并且有足够的I/O吞吐能力和网络带宽，可以保证用户使用储存在服务器用户存储空间的数据文件时与使用存储在客户机本地硬盘的数据文件一样，所以用户不需要把数据文件下载到客户机，也不会占用客户机的资源和时间。当用户上传文件时也会大大缩短上传时间，分发时也不会占用客户机的资源和时间。由于有足够的服务器并且部署在最接近用户的网络节点上，数据文件将根据用户的请求分布在最接近用户的服务器上，因此不会出现大量用户集中访问服务器造成的服务器和网络出现阻塞的问题，也避免了采用P2P技术造成的主干网络占用过多的问题。

根据本发明提出的数据上传、下载、存储及分发、使用的方法和系统，能够解决由于大量用户集中访问造成的服务器和网络阻塞以及下载数据文件占用客户机资源和时间的问题。

本发明的系统由分布在互联网上的多个服务器群集构成，每个服务器群集包括多台部署在城域网或局域网上的服务器，服务器通过接入网络或局域网与用户的客户机连接。群集内的服务器之间通过城域网或局域网连接，不同城域网或局域网的服务器群集之间通过互联网或广域网联接。

群集和群集中的服务器数量可根据用户的需求和应用的要求动态扩充并根据网络流量和用户需求部署在最接近用户的城域网或接入网的节点上，以保证用户和应用程序可以获得足够的存储空间、服务器I/O吞吐能力和计算能力以及网络带宽。

群集内的服务器如图四所示分为管理服务器、应用服务器和存储服务器。管理服务器负责群集的管理，包括服务器、用户、数据文件、应用程序的管理和与其它群集管理服务器的通讯与协同；应用服务器运行应用软件并通过网络向用户提供应用服务；存储服务器的存储空间分为有效存储空间和缓存空间，用于存储和分发数据文件。管理服务器、应用服务器和存储服务器的划分是逻辑意义上的，即既可以在不同的服务器硬件上运行，也可以在同一台服务器硬件上运行。

通过互联网将部署在不同地区的服务器群集连接在一起即构成基于互联网的由分布式服务器群集构建的数据文件存储分发平台。群集与群集之间的通讯通过互联网和管理服务器进行，群集内服务器之间的通讯通过城域网或局域网和管理服务器进行。在管理服务器的管理、调度和控制下，实现在群集内部以及群集之间的存储服务器与存储服务器之间的数据文件的传送、分配和存储管理。因此，系统可以实现群集之间以及服务器之间的信息交换和数据文件的调度和分配，获取彼此的工作状态和数据，在服务器之间分布和调度数据文件和应用不仅可以实现整个系统的负载均衡和存储空间优化，还可以实现群集内的服务器之间互为备份以及群集与群集之间互为备份，从而使得系统具有极高的可靠性。

管理服务器包括服务器资源管理、用户管理及用户界面管理和群集间通讯等模块。