[发明专利]分布式文件系统中通信的处理方法和装置

说明书

技术领域

本发明涉及计算机领域，具体地，涉及一种分布式文件系统中通信的处理方法和装置。

背景技术

分布式文件系统中通信系统作为系统各节点之间的通信基础，具有重要的意义。由于分布式文件系统只能通过通信系统实现节点间的控制命令和数据传输，因此，节点之间的通信性能直接决定了分布式文件系统的整体性能。

分布式文件系统的通信操作分为通信发起方和通信接收方，通信发起方发起通信操作，通过网络发送到通信接收方。通信接收方接收消息，将消息的相关信息(如源地址信息等)和消息内容提交给用户处理，等待用户处理完成后发送处理完成的消息给通信发起方，完成一次通信过程。在传统的分布式文件系统实现中，通信发起方一旦存在通信请求，将通信请求交由通信系统进行消息收发，通信接收方处理所有来自网络的通信请求，接收数据，并提交给用户处理。

而对于分布式文件系统来说，一般分为两个部分：客户端和服务节点。客户端向服务节点以通信消息的方式发出服务请求，服务节点内部协同完成服务请求，并返回给客户端。如果分布式文件系统的通信负载调度不均，就会导致客户端不能够充分利用服务节点的服务能力，导致整体分布式文件系统的性能下降。

为了解决通信系统负载均衡的问题，现有系统存在如下几种方法：

现有的负载均衡系统指的是客户端在需要处理业务的时候，根据监测到的服务器的负载情况，选择向负载较轻的服务器发送服务请求，由服务器完成服务请求，并向客户端返回结果。这种负载均衡系统能够均衡的将客户端的负载分发到多个不同的服务器端，从而使服务器的负载均衡。

在通信系统的实现中，为了充分利用分布式文件系统的多网络的性能，在发送消息时，根据网络的负载，在多个网卡对应的链路中间选择负载最轻的一条链路，进行数据发送。该方式能够充分利用多链路的通信带宽，提高系统的整体通信能力。

对于分布式文件系统中的通信来说，需要满足以下需求：

一方面，分布式文件系统传输消息的优先级和响应时间需求是不同的，其中，存在优先级为高，需要实时响应的消息，如系统控制消息；也存在优先级较低的消息，如数据传输消息、统计数据、监控消息等。不同类型的消息对网络的需求不同，需要网络根据消息的优先级调度，保证消息级别的服务质量(Quality of Service，简称QoS)。传统的QoS保证一般都在硬件级别的通信消息单元级别实现，考虑通信消息请求级别的较少。

另一方面，点对点通信并不考虑整体的系统状态，可能会导致通信的不公平性，导致通信拥塞。例如：N个节点同时向一个节点发送消息，其中某一个节点的数据量大，如果不进行通信负载调度或者调度方法存在问题，就会使得接收方频繁处理该节点请求，而无法处理其他节点的请求，出现公平性和队头阻塞等问题。

对于现有负载均衡系统来说，无法解决上述需求：(1)当客户端非常多的时候，每一个服务器需要服务大量的客户端请求，当其中某一个客户端的请求时间过长的时候，仍然会出现某些服务器负载不均衡的情况；(2)该负载均衡方法只适用于服务器端存在多个相同角色的节点，而没有考虑到服务器内部之间的通信负载均衡问题。同时该方法只能以节点为单位，将客户端的请求分配到不同节点，没有考虑到分布式系统中存在多套网络负载均衡问题。

同样，网络多链路选择算法能够解决发起方链路选择的问题，充分利用网络带宽。但是由于只在发送端进行消息控制，并不能保证系统中通信负载能够均衡的分布到不同的节点上。

针对相关技术中分布式文件系统消息传输和处理的效率低、处理过程负载均衡性差的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中分布式文件系统消息传输和处理的效率低、处理过程负载均衡性差的问题，本发明提出一种分布式文件系统中通信的处理方法和装置，能够提高传输的效率，并且能够对消息的接收和处理实现负载均衡。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种分布式文件系统中通信的处理方法，该分布式文件系统中的通信操作包括通信的发起方和接收方，该处理方法包括：

接收方接收来自发起方的连接；

接收方根据预先设置的分类方法对接收的连接进行分类；

对于分类后的每个类别的连接，接收方将该类别的连接放入与该类别对应的接收连接队列中；

接收方从接收连接队列获取连接，从获取的连接中提取的消息，并对提取的消息进行处理。

其中，该处理方法进一步包括：