[发明专利]基于Alluxio的多HDFS集群的路由方法及装置

说明书

本发明公开了一种基于Alluxio的多HDFS集群的路由方法及装置，所述方法包括：将HDFS中需要做路由的路径挂载到Alluxio的主节点Master端，形成路由表；HDFS客户端去Alluxio的主节点Master端获取路由表并将其拉取本地；根据路由表中的信息解析客户端的RPC的请求路径，根据解析后的路径转发给对应的HDFS集群。本发明解决了Federation加Viewfs配置方案管理维护不便的问题。

技术领域

本发明属于大数据生态系统分布式存储领域，具体地说，是涉及一种基于Alluxio的多HDFS集群的路由方法及装置。

背景技术

Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题，这样的系统我们称之为分布式系统。分布式文件系统是分布式系统的一个子集，它们解决的问题就是数据存储。换句话说，它们是横跨在多台计算机上的存储系统。存储在分布式文件系统上的数据自动分布在不同的节点上。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理来自网络和其它地方的超大规模数据提供所需的扩展能力。

HDFS集群借此来存储所有需要分析的输入数据以及由MapReduce作业生成的任何输出结果。HDFS是一种基于数据块的文件系统，它跨越集群中的多个节点，并且使用用户数据可以存储在文件中。它提供了传统的分层文件组织，以便用户或应用程序可以操作(创建、重命名、移动或删除)文件和目录。它还提供了一个流接口，借助于该接口，可使用MapReduce框架运行所选的任何应用程序。

大数据中，HDFS集群以Master-Slave模式运行，主要有两类节点：一个Namenode(即Master)和多个Datanode(即Slave)。NameNode(名字节点)：单一主元数据服务器，其中包含每个文件、文件位置以及这些文件及其所在的DataNode内的所有数据块的内存映射；Namenode管理着文件系统的Namespace，它维护着文件系统树(filesystemtree)以及文件树中所有的文件和文件夹的元数据(metadata)。DataNode(数据节点)：每个集群节点均有一个从属DataNode，它为读/写请求提供服务以及按照NameNode的指令执行数据块创建、删除和复制；Datanode是文件系统的工作节点，他们根据客户端或者是NameNode的调度存储和检索数据，并且定期向NameNode发送他们所存储的块(block)的列表。

由于是单个Namenode的HDFS架构，因此整个HDFS文件系统的吞吐量受限于单个Namenode的吞吐量。在只有一个Namenode的HDFS中，此Namenode的宕机无疑会导致整个集群不可用。

目前的Hadoop集群都是单Namenode对外提供服务。明显地，当用户量大时会出现服务宕机问题，就算备份(standby)服务器激活也会导致崩溃。因此，对于分布式存储Hadoop集群，主节点的元数据和客户端的RPC(远程过程调用协议)请求通常会成为性能瓶颈，为解决性能瓶颈问题，现在一般使用“Federation+viewfs”来做集群的横向扩展。