[发明专利]一种分布式集群的请求的路由方法和装置

说明书

本发明公开了一种分布式集群的请求的路由方法和装置，方法包括：从客户端接收分布式文件系统的服务请求，从服务请求中解析出客户端信息并将客户端信息记录到日志；基于服务请求在分布式文件系统确定对应的子集群，将服务请求转发到子集群并将子集群的连接信息记录到日志；从子集群接收针对服务请求的反馈信息，将反馈信息与对应于反馈信息的客户端信息相关联地记录到日志；响应于反馈信息包括服务执行失败，而将对应于反馈信息的客户端信息基于连接信息而发送到子集群。本发明能够便于快速定位服务失败和输入输出阻塞，并且有助于分析联邦集群的负载均衡，提高分布式集群的可用性。

技术领域

本发明涉及路由领域，更具体地，特别是指一种分布式集群的请求的路由方法和装置。

背景技术

对于Hadoop的基于Router(路由器)的联邦场景，客户端在访问HDFS(基于Hadoop的分布式文件系统)时，需要通过Router来响应客户端请求并将请求代理转发给正确的NameNode(命名节点)。若有多个客户端同时访问HDFS，Router代理客户端向服务端NameNode进行请求，并且其中个别服务端NameNode在处理请求时出现异常，由于Router对服务端NameNode隐藏了客户端信息，这样无法在服务端NameNode识别出具体是哪一个客户端的请求出现了错误，不利于操作异常失败问题定位和网络输入输出阻塞问题排查，也无法分析Router在整个联邦集群的负载均衡情况，导致联邦集群难以处理错误和分析负载，可用性差。

针对现有技术中分布式集群难以处理错误和分析负载，可用性差的问题，目前尚无有效的解决方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种分布式集群的请求的路由方法和装置，能够便于快速定位服务失败和输入输出阻塞，并且有助于分析联邦集群的负载均衡，提高分布式集群的可用性。

基于上述目的，本发明实施例的第一方面提供了一种分布式集群的请求的路由方法，包括执行以下步骤：

从客户端接收分布式文件系统的服务请求，从服务请求中解析出客户端信息并将客户端信息记录到日志；

基于服务请求在分布式文件系统确定对应的子集群，将服务请求转发到子集群并将子集群的连接信息记录到日志；

从子集群接收针对服务请求的反馈信息，将反馈信息与对应于反馈信息的客户端信息相关联地记录到日志；

响应于反馈信息包括服务执行失败，而将对应于反馈信息的客户端信息基于连接信息而发送到子集群。

在一些实施方式中，从服务请求中解析出客户端信息包括解析出以下至少之一：服务请求的发起时间、客户端的网络地址、客户端所请求的远程过程调用方法、远程过程调用方法的方法参数。

在一些实施方式中，基于服务请求在分布式文件系统确定对应的子集群，将服务请求转发到子集群并将子集群的连接信息记录到日志包括：基于服务请求在分布式文件系统确定对应的子集群，在子集群中确定一个活跃的名称节点，将服务请求转发到名称节点，并将名称节点的网络地址记录到日志。

在一些实施方式中，从子集群接收针对服务请求的反馈信息包括接收以下至少之一：服务请求是否成功执行、服务请求的结束时间。

在一些实施方式中，将反馈信息与对应于反馈信息的客户端信息相关联地记录到日志包括：基于服务请求的结束时间和服务请求的发起时间确定服务请求的整体耗时，并将服务请求是否成功执行、服务请求的结束时间、和服务请求的整体耗时与对应于反馈信息的客户端信息相关联地记录到日志。

在一些实施方式中，方法还包括执行以下步骤：响应于反馈信息包括服务执行成功或失败，而将反馈信息基于客户端信息而反馈给客户端。