[发明专利]一种数据管理方法及Hadoop分布式文件系统

说明书

本发明实施例提出一种数据管理方法及Hadoop分布式文件系统，涉及计算机技术领域。该数据管理方法及Hadoop分布式文件系统通过代理节点接收一客户端发起的数据处理请求，并在代理节点上基于预建立的哈希模型、数据处理请求确定与数据处理请求对应的元数据节点，通过代理节点向元数据节点发送数据处理请求，最后通过元数据节点响应数据处理请求而反馈报文至客户端；通过统一元数据节点的命令空间，从而将多个独立的元数据节点统一为整体的命名空间，实现了对数据的统一访问；此外，可基于预建立的哈希模型快速查询到与数据处理请求对应的元数据节点，提高了读取/写入效率。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种数据管理方法及Hadoop分布式文件系统。

背景技术

当面临大数据应用需求时，在单机性能面临瓶颈，关系数据库集群系统已不能满足大数据应用需求的情况下，利用分布式存储系统保存数据并采用基于SQL语言标准用户接口已成为解决大规模结构化数据检索问题的有效方法。

现有技术，通常采用Hadoop分布式文件系统(Hadoop DistributedFile System，HDFS)存储数据文件，并通过维护一份元数据将HDFS文件及其内容映射为表结构。但现在的HDFS只提供了对已存在的数据的统一访问，对于需要写入的客户端而言，HDFS还是多个数据中心；此外，对一个文件的查找，最坏的情况下，需要查找所有数据中心的NameNode节点，效率比较低下。

发明内容

本发明的目的在于提供一种数据管理方法及Hadoop分布式文件系统，以解决上述问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种数据管理方法，运行于Hadoop分布式文件系统集群节点上，所述集群节点包括代理节点以及元数据节点，所述数据管理方法包括：

通过所述代理节点接收一客户端发起的数据处理请求；

在所述代理节点上基于预建立的哈希模型、所述数据处理请求确定与所述数据处理请求对应的元数据节点；

通过所述代理节点向所述元数据节点发送所述数据处理请求；

通过所述元数据节点响应所述数据处理请求而反馈报文至所述客户端。

第二方面，本发明实施例还提供了一种Hadoop分布式文件系统，所述Hadoop分布式文件系统包括：

代理节点，用于接收一客户端发起的数据处理请求；

所述代理节点还用于基于预建立的哈希模型、所述数据处理请求确定与所述数据处理请求对应的元数据节点；

所述代理节点还用于向所述元数据节点发送所述数据处理请求；

元数据节点，用于响应所述数据处理请求而反馈报文至所述客户端。

本发明实施例提供的数据管理方法及Hadoop分布式文件系统，通过代理节点接收一客户端发起的数据处理请求，并在代理节点上基于预建立的哈希模型、数据处理请求确定与数据处理请求对应的元数据节点，通过代理节点向元数据节点发送数据处理请求，最后通过元数据节点响应数据处理请求而反馈报文至客户端；通过统一元数据节点的命令空间，从而将多个独立的元数据节点统一为整体的命名空间，实现了对数据的统一访问；此外，可基于预建立的哈希模型快速查询到与数据处理请求对应的元数据节点，提高了读取/写入效率。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明