[发明专利]一种分布式文件系统、数据访问和数据存储的方法及装置

说明书

技术领域

本申请涉及数据处理领域，尤其涉及一种分布式文件系统、数据访问和数据存储的方法及装置。

背景技术

随着网络技术的不断发展，我们迎来了大数据时代。在大数据时代下，分布式存储、大文件的读写都成为热点话题。分布式文件系统(Hadoop Distributed File System，HDFS)是针对大数据而存在的，HDFS能够提供高吞吐量的数据访问，适合有着超大规模数据集的应用程序。

目前，HDFS集群是由一个名字节点(NameNode)和上千个数据节点(DataNode)组成，其中，NameNode作为一个中心服务器，负责管理文件系统的命名空间(如打开、关闭、重命名文件或目录)以及客户端对文件的访问，也负责确定数据块到具体DataNode的映射。DataNode上真正存储数据块，负责处理文件系统客户端的读写请求，同时也会周期性向NameNode发送心跳信号和块状态报告(当一个DataNode启动时，它会扫描本地文件系统，产生一个这些本地文件对应的所有HDFS数据块的列表，然后作为报告发送到NameNode，这个报告就是块状态报告)。由于在HDFS集群中所有的元数据信息的读取和操作都需要与NameNode进行通信，这就导致在NameNode出现故障时，整个HDFS也无法正常工作。另外，当集群大到一定程度之后，NameNode进程使用的内存会很大，也会影响HDFS的正常使用。

综上，现有技术中HDFS集群的架构在NameNode出现故障的情况下会导致整个HDFS无法正常工作的问题。

发明内容

本申请实施例提供一种分布式文件系统、数据访问和数据存储的方法及装置，用以解决现有技术中HDFS集群的架构在NameNode出现故障的情况下会导致整个HDFS无法正常工作的问题。

本申请实施例提供一种分布式文件系统，该系统包括：上层名字节点HNameNode，多个下层名字节点NameNode以及多个数据节点DataNode；

所述HNameNode，用于接收客户端发送的数据访问请求，基于客户端与NameNode的映射关系将所述数据访问请求转发至与所述客户端对应的NameNode；

所述NameNode，用于接收由所述HNameNode转发的数据访问请求，并查找所述数据访问请求对应的DataNode，将查找到的所述DataNode的信息返回至所述客户端；

所述DataNode，用于向所述客户端提供与所述数据访问请求相对应的数据信息。

本申请实施例提供一种分布式文件系统的数据访问方法，包括：

上层名字节点HNameNode接收客户端发送的数据访问请求；

基于客户端与下层名字节点NameNode的映射关系将所述数据访问请求转发至与所述客户端对应的NameNode。

本申请又一实施例提供一种分布式文件系统的数据访问方法，包括：

下层名字节点NameNode接收由上层名字节点HNameNode转发的来自客户端的数据访问请求；

基于接收到的所述数据访问请求，查找与所述数据访问请求对应的数据节点DataNode；

将查找到的DataNode的信息发送至客户端，以便所述客户端向所述DataNode获取数据信息。

本申请实施例提供一种分布式文件系统的数据存储方法，包括：

上层名字节点HNameNode接收客户端发送的数据存储请求；

基于各个数据节点DataNode上报的本地存储资源的可用情况信息，选择用于存储数据的DataNode；

将选择的用于存储数据的DataNode的信息发送至所述客户端，以便所述客户端将请求存储的数据写入选择的DataNode中。

本申请实施例提供一种分布式文件系统的数据访问装置，包括：

接收模块，用于接收客户端发送的数据访问请求；

发送模块，用于基于客户端与下层名字节点NameNode的映射关系将所述数据访问请求转发至与所述客户端对应的NameNode。

本申请又一实施例提供一种分布式文件系统的数据访问装置，包括：

接收模块，用于接收由上层名字节点HNameNode转发的来自客户端的数据访问请求；

查找模块，用于基于接收到的所述数据访问请求，查找与所述数据访问请求对应的数据节点DataNode；