[发明专利]一种应用于分布式存储的多活动副本机制及其存取方法

说明书

技术领域

本发明涉及一种应用于分布式存储的多活动副本机制及其存取方法，是适用于分布式存储和云存储系统的一种新机制和方法，属于计算机科学与技术领域。

背景技术

在大数据时代，分布式存储是解决海量数据存储问题的有效途径。文件副本策略作为一种保证数据高可用性的有效手段，可以提高分布式存储系统的可靠性和访问速度，均衡系统负载。

分布式存储系统将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，并通过一定的应用软件或接口共同对外提供数据存储和业务访问功能，实现海量数据的分布式存储和并行I/O访问。它的基本结构如图1所示，主要包括元数据服务器(MS，Metadata servers)、数据服务器(DS，Data servers)和客户端(Client)三个部分。然而随着系统规模的扩大，硬件设备或软件架构不可避免会出现故障，从而造成数据的损坏和丢失，影响到数据的正常访问。

而副本技术将数据复制多份放在分布式系统的多个节点上，单个或多个节点的数据发生损坏或者丢失，甚至整个节点的失效，都不会导致副本的无法访问，从而能够保证数据的完整性和可用性。并且动态副本策略会根据系统环境和应用需求的变化动态调整副本的个数和存储位置，从而提高系统的响应速度，并能实现负载均衡。

不同的应用场合对副本策略也提出了不同的需求。对于一个读操作集中的应用，关注的是数据的可用性，需要尽可能地将副本分布在广阔的节点上，提高读操作的性能和访问速度；而对于一个写操作集中的应用，数据的一致性更为重要，需要将副本集中部署，以方便数据的写入和更新。

目前，主流的分布式存储系统包括GFS、HDFS、Dynamo、PVFS等，它们的副本策略都存在两个共同的问题。首先，在进行读操作时，通常只有一个文件副本是活动可用的，也就是说只有一个副本提供数据，其它副本只是起到数据备份和容错作用。这样就造成了系统资源的浪费，并且当用户访问量很大时，活动副本所在的节点会产生I/O瓶颈或者网络拥堵。其次，它们没有把副本存放策略的实现开放给用户，用户无法根据自己的实际需求来指定文件副本存放的具体位置。

基于这种情况，本发明提出一种应用于分布式存储的多活动副本机制及其存取方法。该方法首先确保在读取数据时系统中每个文件副本都是活动可用的，用户可随意存取其中的任意副本，克服单一活动副本的缺陷；其次，系统可根据用户需求动态调整副本数目和存放位置，加快数据的访问。

发明内容

针对背景技术所述，本发明“一种应用于分布式存储的多活动副本机制及其存取方法”包括两个部分：多活动副本机制和基于该机制的动态副本存取方法，旨在解决读操作频繁的分布式存储系统中易出现的网络拥堵和磁盘I/O瓶颈问题，提高系统的可靠性和响应速度。

1、多活动副本机制

所谓多活动副本机制，是指系统中每个文件副本都是活动可用的，用户可根据需要随意存取其中的任意副本。

如图2所示，原始文件有三个副本，分别存放在数据中心1的数据服务器DS1、DS2和数据中心2的数据服务器DS3上。在某一时刻，当用户访问量很大时，如果只有副本1提供数据，那么存储该副本的数据服务器DS1就会因吞吐量过大而不可避免地达到I/O瓶颈，DS1所在的网络也会产生拥塞。而多活动副本机制通过让多个副本同时提供数据，将用户的访问分散到不同数据中心的多个数据服务器上，增大数据服务器总的磁盘I/O吞吐量，降低单个服务器的网络负载。此时，数据服务器DS1、DS2和DS3共同对外提供存取服务，副本1、副本2和副本3同时被用户所读写，从而避免了出现上述情况。

2、动态副本存取方法

基于多活动副本机制的动态副本存取方法，位于分布式存储系统的元数据服务器上，是分布式存储系统的一个软件模块。

元数据服务器主要通过四个模块来完成多活动副本的读取和动态调整功能，包括数据节点信息维护模块、路由分析模块、用户请求处理模块和动态副本管理模块。图3是各个模块及信息的利用关系。下面介绍各组成部分。

(1)数据服务器信息维护模块(DIM，Data server Information Module)：该模块记录整个系统中文件到数据块和数据块到数据服务器的映射关系，根据数据服务器的反馈信息监控数据服务器和文件副本的工作状态。