[发明专利]一种基于多对等NameNode分布式文件系统及写入方法

说明书

一种基于多对等NameNode分布式文件系统，包括用户应用层、元数据服务层和存储服务器层，所述元数据服务层包括多个部分对等的NameNode，多个所述NameNode首尾相连形成一个环状结构；每个NameNode既是它前驱节点的备用NameNode，同时又是它后继节点的主备NameNode；每个NameNode均存储有特定用户文件的所有元数据信息和操作日志文件，并管理所述存储服务器层中的部分特定的存储服务器；每个NameNode均接收所管理的存储服务器所发送的心跳包和数据块信息；每个NameNode均设置有一个特定的NameNode ID，每个NameNode均存储有NameNode ID与IP地址之间的映射表。本发明利用首尾相连并成部分对等关系的多个NameNode来改变HDFS系统中的单点依赖，大大增强云存储的容错率。

技术领域

本发明涉及云计算领域，尤其涉及一种基于多对等NameNode分布式文件系统及写入方法。

背景技术

随着互联网的飞速发展，全球数据量每年以指数增长，使得云计算成为了当前研究与应用的热点。云存储作为云计算的底层服务，是一种架构复杂的分布式文件系统。因为它具有结构灵活、响应效率高、管理方便等优点，因而成为世界各国解决数据爆炸性增长的首选方案。HDFS作为当今最流行的基于云存储分布式文件系统具有开源、廉价、高容错以及高可扩性的特点，在云存储领域占据了举足轻重的地位。HDFS采用了主从架构，它的集群是由一个NameNode和多个DataNode组成。NameNode是一个中心服务器，负责管理文件系统的命名空间以及客户端对文件的访问操作。

然而，HDFS因其结构和性能上的局限性，存在当NameNode失效时，整个系统将陷入瘫痪状态的问题。

发明内容

本发明的目的在于提出一种基于多对等NameNode分布式文件系统及写入方法，利用首尾相连并成部分对等关系的多个NameNode来改变HDFS系统中的单点依赖，大大增强云存储的容错率。

为达此目的，本发明采用以下技术方案：

一种基于多对等NameNode分布式文件系统，包括用户应用层、元数据服务层和存储服务器层，所述元数据服务层包括多个部分对等的NameNode，多个所述NameNode首尾相连形成一个环状结构；

每个NameNode既是它前驱节点的备用NameNode，同时又是它后继节点的主备NameNode；

每个NameNode均存储有特定用户文件的所有元数据信息和操作日志文件，并管理所述存储服务器层中的部分特定的存储服务器；

每个NameNode均接收所管理的存储服务器所发送的心跳包和数据块信息；

每个NameNode均设置有一个特定的NameNode ID，每个NameNode均存储有NameNode ID与IP地址之间的映射表。

优选的，所述存储服务器层由多台存储服务器组成，每台所述存储服务器均设置有一个DataNode；

每个NameNode管理所述存储服务器中特定的DataNode，被管理的所述DataNode定期发送心跳包和数据块信息给管理自己的NameNode。

优选的，所述用户应用层用于向NameNode发送RPC请求来建立通信连接。

一种基于多对等NameNode分布式文件系统的写入方法，包括用户应用层、元数据服务层和存储服务器层，所述元数据服务层包括多个部分对等的NameNode，多个所述NameNode首尾相连形成一个环状结构；所述存储服务器层由多台存储服务器组成，每台所述存储服务器均设置有一个DataNode；所述用户应用层用于向NameNode发送RPC请求来建立通信连接。

包括文件写入的过程：