[发明专利]一种面向并行文件系统的通信系统

说明书

技术领域

本发明涉及并行文件系统的通信系统，特别涉及一种面向并行文件系统的高效通信系统。

背景技术

并行文件系通常由多种不同类型的实体组成，各个实体功能相互独立，运行于不同节点上，由互联网络连接起来，构成一个统一的整体，向外提供统一文件系统服务。这些实体包括：元数据服务，数据服务，客户端，结构如图1所示。

为了达到高性能，高可靠性的目标，并行文件系统需要一个高效的通信层以实现文件系统服务之间的通信，而传统的互联网络的通信接口，主要为数据报或者数据流方式，将数据从一段发送到另一端，接口较为复杂，不太适合文件系统直接使用。

另一方面，由于构建互联网络的部件：交换机和网卡，随时可能失效，这导致并行文件系统中正在进行的通信操作随时可能中断，这需要一种高可靠的通信系统，其能够检测通信操作的中断，并且能够在互联网络恢复正常之后，恢复通信操作，以保证上层文件系统的可靠运行。

由于网络技术的发展，在同一套分布式系统中部署多种类型的网络变成了一种常态；而为了满足整个系统的通信需求以及性价比等方面的考虑，往往会采用并行网络(multi-rail)的方式来提供聚合的高通信性能，这都直接导致了并行文件系统的通信系统需要面对复杂的，多套的底层通信网络，需要通信系统屏蔽底层网络细节，向上提供统一的通信接口，并充分利用到每一部分的通信性能。传统的基于绑定(Bonding)的方式在操作系统层面将多网络聚合成一个虚拟的网络设备，但是其只能够聚合同一类的网络，并且需要复杂的配置，通信系统也不能针对每一套网络进行处理。

由于并行文件系统中各个服务之间存在大量的协同和通信交互，直接导致了大量的数据通信，因此通信系统的性能，极大的决定的并行文件系统的性能。需要通信系统提供高效的通信机制，提供高带宽和低延迟。同时为了隐藏通信系统的开销，并行文件系统的服务使用异步通信方式，在通信请求和通信完成之间插入其他无关动作，这需要通信系统提供异步的通信机制。

发明内容

本发明的目的是面向并行文件系统的特定需求，提供一种统一的，高效可靠的通信系统实现方法。为了实现上述目的，本发明提供了一种有效的高效通信构建机制和框架，包括

(1)面向并行文件系统的统一通信接口。提供了调用-应答的通信接口，通信发起方使用调用接口发起通信请求，通信应答方使用应答接口应答通信请求。

上层并行文件系统基于通信应答接口进行消息通信，使用基于整体系统的虚拟地址编号标识通信目标方，通信系统将系统区拆分为三层接口：

接口层，提供并行文件系统的通信接口，提供“调用-应答”通信接口，将通信操作封装为通信请求，提交给下层通信系统收发。

通信层，负责处理接口层提交的通信请求，使用网络层具体接收收发数据，同时负责网络层的收发，错误请求。

网络层，封装具体的网络通信操作，供通信层使用。

通信系统的构建中，为了保证文件系统能够高效的通信，使用如下三种机制：

(2)动态的通信请求与连接管理的选择机制。接口层提交的通信请求，由通信层的连接管理单元，根据当前并行文件系统中的节点状态，以及连接的服务能力和状态，分配到当前处理能力最大的连接上，该方式能够有效的聚合底层多通信网络的通信能力。

详细步骤为：

步骤S1，系统在初始化时根据管理系统提供的系统拓扑表，读入节点配置情况，并且根据配置在节点之间建立连接，将连接以目标节点链表的方式组织，每一个目标节点上存在一个可用连接链表。

步骤S2，通信层根据通信请求的目标节点，在目标节点链表上找到对应节点，进一步找到该节点对应的可用节点链表

步骤S3，遍历可用节点链表，检查每一个链表上的权值，取得权值最大的一个连接。

步骤S4，将通信请求与该连接相关联，在该连接上进行数据的发送动作。

步骤S5，在链表上的连接发送完成之后，根据发送记录，修改连接的权值

(3)高可靠机制。在接口层的连接管理单元中，定期监测每一个网络连接的状态，通过在每一个连接上定期发送心跳消息，监测连接的状态。

在出现网络故障时，进入故障处理模式，尝试进行网络通路的重建。通信系统通过实时的通信通路选择机制，自动剔除掉故障的通信通路，使用可用的通信通路发送数据，或者等待通路重建完成之后，进行消息重发，该可靠性机制对上层并行文件系统透明。