[发明专利]元数据管理方法和系统

说明书

本发明公开一种元数据管理方法和系统，其中在元数据管理方法中，需要备份数据的元数据主节点在备份指定数据时，向元数据集群中的其它元数据主节点发送负载查询请求；接收到负载查询请求的元数据主节点统计自身的负载状况，并将负载统计信息上报给需要备份数据的元数据主节点；需要备份数据的元数据主节点利用上报的负载统计信息确定目标节点，将指定数据发送给每一个作为目标节点的元数据主节点以进行备份。通过采用服务器集群的方式管理元数据，根据元数据热度的不同对元数据分类，然后按照网络数据复制算法进行备份，该方法分散了单个节点的数据访问和磁盘读写压力，提高整个系统的性能和吞吐量，同时提高整个系统的计算和存储能力。

技术领域

本发明涉及通信领域，特别涉及一种元数据管理方法和系统。

背景技术

文件系统作为操作系统的重要组成部分，通过对操作系统所管理的存储空间进行抽象，为用户提供对象化的、统一的访问接口，避免直接操作物理设备，达到管理资源的目的。文件系统最初只能管理本地磁盘空间，计算机之间则通过文件传输协议（FileTransfer Protocol，简称：FTP）共享文件，但FTP协议不提供与本机文件系统一致的访问接口和对象模型。

随着计算机被广泛用于生产和生活的各个方面，而单个计算机的存储和计算能力十分有限，通过多台计算机协同管理文件的需求日益增长，并逐渐出现了分布式文件系统。分布式文件系统的发展经历了网络文件系统（Network File System，简称：NFS）、安德鲁文件系统（Andrew File System，简称：AFS）、存储区域网络（Storage Area Network，简称：SAN）、网络附连存储（Network Attached Storage，简称：NAS）、直接访问文件系统（DirectAccess File System，简称：DAFS）等多个阶段。当前比较成熟和应用广泛的是GFS（GoogleFile System）和HDFS（Hadoop Distributed File System）。

HDFS是GFS的一个开源实现，是一种基于Java语言的支持数据密集型应用的分布式文件系统，HDFS的特点是具有高度容错性，适合部署在廉价的机器上，能提供高吞吐量的数据访问，非常适合管理大规模数据。

HDFS系统设计采用主从式（Master-Slave）架构，如附图1所示。一个HDFS集群由一个客户端（Client）、一个元数据节点（Name Node）和多个数据节点(Data Node)组成。客户端可访问元数据节点和数据节点。元数据节点是一个中心主服务器，负责维护文件系统的命名空间和客户端对文件系统的访问。数据节点由多个服务器组成，负责管理存储结点上的存储空间、执行来自元数据节点的指令和客户端的读写请求。

HDFS管理元数据的设计方案存在如下缺点：

1.元数据需要被频繁的访问，但不同数据的冷热度不同，即有些数据被访问的频率高，有些数据被访问的频率低。采用单一元数据节点的结构，当存在热度非常高的数据时，磁盘读写性能的瓶颈会严重影响HDFS的工作效率。

2.HDFS的一个重要应用场景是处理大规模并行数据访问请求，HDFS的单一元数据节点的结构决定其吞吐量不高，不能满足大批量数据读写操作同时进行。

3.HDFS的一个重要功能是为了支持上层的MapReduce并行计算，单一元数据节点的存储和计算能力十分有限，不具备可扩展性，很难满足大量数据的处理请求。

4.元数据节点是HDFS的一个中心服务器，负责处理客户端对文件系统的访问请求。如果元数据节点因出现故障而宕机，将使整个HDFS系统瘫痪，造成重大损失。

随着HDFS运行时间越来越长，HDFS中的文件数量不断增长，元数据的规模也会变得十分庞大，且当前单个服务器的存储和计算能力都十分有限，因此单一的元数据节点在数据总量增长非常迅速时，有可能成为性能瓶颈，导致整个系统的性能降低。