[发明专利]数据块副本数量调整方法及元数据服务器节点

说明书

技术领域

本发明涉及一种数据块副本数量的调整技术，尤其涉及分布式文件系统中的数据块副本数量的调整方法及相应的元数据服务器节点。

背景技术

分布式文件系统是一种基于廉价计算机节点本地存储构建的分布式存储系统。它通过将不同服务器上的共享文件夹组织在一起，构建成一个目录树，使用户只需访问一个共享的根目录即可访问分布在网络上的文件或文件夹，而不必知道这些文件的实际物理位置。与传统的磁盘阵列和存域网(Storage Area Network，简称：SAN)存储系统相比，有存储性价比高、可扩展性强等优点。

现有的分布式文件系统还可以被互联网业务提供商，如Google、Yahoo等，作为数据处理平台。如图1所示，现有的分布式文件系统通常由元数据服务器节点和多个数据块节点组成。其中，元数据服务器节点用于保存各个文件的数据分块情况、各个数据块所在的数据块节点的名称，以及每个数据块节点上包含的数据块的信息等；数据块节点用于保存实际的数据块，通常每个数据块大小为64MB或128MB。当客户端软件需要对上述分布式文件系统进行数据存取访问时，首先通过元数据服务器节点获取或建立文件的数据块的位置；然后直接与相应数据块所在的数据块节点进行通信，进行读写数据块等操作。

现有的分布式文件系统一般采用普通的廉价计算机节点作为硬件平台，由于普通的计算机节点可靠性不高，为了提高系统可靠性和数据可用性，分布式文件系统通常采用固定数量的多副本方式保存数据块，例如对于同一个数据块，可以在不同的数据块节点保存3个副本。元数据服务器节点通过心跳监控各数据块节点的状态，保证系统中各数据块总是具有固定的副本数，以便在某个计算机节点发生宕机时，仍然能够有可用的数据副本，以保证系统的可靠性。

现有技术的缺陷在于：上述分布式文件系统的多副本方式只考虑了数据的可用性而没有考虑到电信业务中不同数据的响应时间和访问频率的不同。对于不同的数据，其访问频率和响应时间是随着时间的迁移而变化的。当某些数据的访问频率升高时，各个数据块所需的聚合带宽增加。然而，由于现有分布式文件系统中对各个数据块设定的副本数都是固定的，因此难以满足高访问频率的需要，增加了相应数据块的响应时间，影响了系统应用性能的提高。

发明内容

本发明要解决的问题是：采用固定副本数量的分布式文件系统，无法根据数据块的访问频率或响应时间对副本数量进行调整，从而影响系统性能的提高。

为了解决上述问题，本发明的一个实施例是提供了一种数据块副本数量调整方法，包括：

元数据服务器节点查询一数据块副本的副本调整信息；

当所述副本调整信息中设定的副本调整时刻达到时，根据所述副本调整信息中与该副本调整时刻相应的副本调整数对保存在数据块节点中的所述数据块副本的副本数量进行调整。

为了解决上述问题，本发明的一个实施例是提供了一种元数据服务器节点，包括元数据处理模块和副本管理模块，其中：

元数据处理模块包括第一处理子模块，用于查询一数据块副本的副本调整信息，当所述副本调整信息中设定的副本调整时刻达到时，根据所述副本调整信息中与该副本调整时刻相应的副本调整数，向副本管理模块发送副本调整指令；

副本管理模块包括第一管理子模块，用于根据来自于第一处理子模块的副本调整指令，选择相应数量的数据块副本的保存位置，并数据块副本保存到相应的数据块节点中。

通过本发明，元数据服务器节点可以根据副本调整信息中包含的副本调整时刻和副本调整数对各个数据块的副本数量进行调整。使得可以对响应时间很长或访问频率高的数据块设置更多的副本数量，以提高用户访问这些数据的聚合带宽；并且，当数据块的响应时间变短，或访问频率下降时，减少副本数，以便将存储空间和输入输出带宽留给其他数据块。从而在保证数据块的可用性及可靠性的同时，提高了系统资源的利用效率。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为现有的分布式文件系统结构示意图；

图2为本发明所述数据块副本数量调整方法实施例1的流程图；

图3为本发明所述数据块副本数量调整方法实施例2的流程图；

图4本发明所述元数据服务器节点实施例1的结构示意图；

图5本发明所述元数据服务器节点实施例2的结构示意图；

图6本发明所述元数据服务器节点实施例3的结构示意图。

具体实施方式

方法实施例1

本实施例提供了一种分布式文件系统数据块副本数量调整方法，如图2所示，包括：