[发明专利]基于HADOOP的数据处理方法、访问代理装置和系统

说明书

本公开提出一种基于HADOOP的数据处理方法、访问代理装置和系统，涉及大数据技术领域。本公开的一种基于HADOOP的数据处理方法包括：接收来自客户端的访问请求，访问请求包括客户端标识；根据客户端标识选择位置与客户端的位置相当的NameNode；将访问请求转发给选择的NameNode。通过这样的方法，能够为客户端的访问请求就近分配NameNode，实现了利用单个访问代理装置为不同位置的多个NameNode分配访问请求，也避免客户端与NameNode距离远造成的平行流量大、影响集群处理性能的问题，优化了多机房场景下的HADOOP集群性能。

技术领域

本公开涉及大数据技术领域，特别是一种基于HADOOP的数据处理方法、访问代理装置和系统。

背景技术

随着HADOOP(海杜普)成为大数据处理的一个基础组件，各大公司纷纷使用HADOOP作为大数据平台的底层。但是随着集群规模的增长与业务量的激增，HADOOP集群会遇到很多瓶颈，其中最显著的缺点是NameNode(名称节点)的性能会限制集群存储规模的扩展。

HADOOP 3.0基线引入了RBF(Router-Based Federation，基于路由的联盟方案)来解决存储扩展问题。

发明内容

发明人发现，RBF适用于单机房的环境下，而在多机房场景时，无法满足性能要求。

本公开的一个目的在于优化多机房场景下HADOOP集群性能。

根据本公开的一些实施例的一个方面，提出一种基于HADOOP的数据处理方法，包括：接收来自客户端的访问请求，访问请求包括客户端标识；根据客户端标识选择位置与客户端的位置相当的NameNode；将访问请求转发给选择的NameNode。

在一些实施例中，选择位置与客户端的位置相当的NameNode包括：确定与客户端的位置最接近的NameNode和NameNode的运行资源占用率；将NameNode的运行资源占用率与预定门限相比较：若NameNode的运行资源占用率大于等于预定门限，则确定下一优先级的NameNode的运行资源占用率，并与预定门限相比较，若NameNode的运行资源占用率大于等于预定门限，则，确定下一优先级的NameNode的运行资源占用率并与预定门限相比较，直至NameNode的运行资源占用率小于预定门限NameNode，确定选择的NameNode；其中，NameNode与客户端之间的距离越短优先级越高。

在一些实施例中，客户端标识为客户端地址信息；选择位置与客户端的位置相当的NameNode包括：根据客户端地址信息和NameNode的地址信息确定客户端与NameNode间的路径；根据客户端与NameNode之间的路径长度选择位置与客户端的位置相当的NameNode。

在一些实施例中，客户端标识为客户端位置信息；选择位置与客户端的位置相当的NameNode包括：根据客户端位置信息和NameNode的位置信息选择与客户端位于同一机房的NameNode。

在一些实施例中，根据客户端标识选择NameNode包括：根据预存的客户端标识的位置信息确定客户端位于的机房；根据预存的NameNode的位置信息确定与客户端位于相同机房的NameNode；选择与客户端位于同一机房的NameNode。

在一些实施例中，选择与客户端位于同一机房的NameNode包括：在存在多个NameNode与客户端位于相同机房的情况下，则从与客户端位于相同机房的NameNode中：随机选择一个NameNode，或根据NameNode的运行资源占用率选择NameNode，或根据NameNode的预定优先级选择NameNode。

在一些实施例中，基于HADOOP的数据处理方法还包括：接收来自NameNode的访问结果并转发给客户端。