[发明专利]分布式集群文件系统及文件访问方法

说明书

技术领域

本发明涉及一种文件系统及文件访问方法，尤指一种分布式集群文件系统及文件访问方法。

背景技术

随着非结构化数据的海量增长，越来越多的企业面临数据管理的难题。现有文件系统，不能从任何一个引擎单元访问任何一个存储单元；不支持文件内的细粒度的全局锁，不可并发读写，访问性能低，容易出现存储负荷热点问题。另外，如果某一引擎单元出现故障，该引擎单元对应的存储空间就得不到利用，资源利用率低。

发明内容

本发明的目的在于克服现有技术的缺陷，而提供一种分布式集群文件系统及文件访问方法，实现了任何一个引擎单元都能够访问到任何一个存储单元，任何引擎单元故障后，都可以把该单元负责任务转移到其他任何引擎单元上，具有可靠性强、资源利用率高、响应速度快、成本低的优点。

实现上述目的的技术方案是：

本发明的一种分布式集群文件系统，包括：

复数个引擎单元，用于提供文件系统的逻辑功能，

复数个存储单元，用于存储文件；

所述引擎单元通过直连或交换网络与所述存储单元全互联，任一引擎单元连接所有存储单元的双控端口。

上述引擎单元之间全互联且通过双信道通信，

上引擎单元之间采用低延迟运输协议和组成员服务原子广播协议通信，且在所述低延迟运输协议与组成员服务原子广播协议基础上构建集群锁。

上述文件系统的逻辑功能分为复数个类型，所述每个引擎单元负责不同类型的逻辑功能。

当一上述引擎单元故障后，该引擎单元的逻辑功能任务转移给其他正常引擎单元。

上述存储单元对所述任一引擎单元提供同一卷设备名称。

本发明的一种文件访问方法，包括步骤：

一或复数个引擎单元对一目标文件的一或复数个区域发出读写请求；

判断所述区域是否存在先前读写请求；

若一区域不存在先前读写请求，允许最先对所述区域发出读写请求的一引擎单元访问；

否则，通知所有对所述区域发出读写请求的引擎单元等待，并在先前读写操作完成后，通知所有对所述区域发出读写请求的引擎单元。

当一上述引擎单元故障后，所述引擎单元的逻辑功能任务转移给其他正常引擎单元。

本发明由于采用了以上技术方案，使其具有以下有益效果是：

引擎单元与每一存储单元的两控制端口通信连接，实现引擎单元与存储单元的全互联；从任何一个引擎单元都能够访问到任何一个存储单元，从而保证数据通道的畅通无阻，并且提供冗余路径实现高可靠性。引擎单元之间通过双信道通信，并采用低延迟运输协议和组成员服务原子广播协议，保证了数据处理的一致性，且提供了备用链路，即使一条链路故障时，也能保证通信链路的可靠性。当一上述引擎单元故障后，该引擎单元的逻辑功能任务转移给其他正常引擎单元，实现对称式的元数据处理，元数据处理的负载均衡，提高元数据处理的效率。引擎单元采用群集锁技术，保证了不同引擎单元访问相同文件系统相同文件并发访问的一致性，存储单元对所述引擎单元提供同一卷设备名称。实现了全局的存储空间管理，保证了块设备访问的一致性。本发明实现了任何一个引擎单元都能够访问到任何一个存储单元，任何引擎单元故障后，都可以把该单元负责任务转移到其他任何引擎单元上，具有可靠性强、资源利用率高、响应速度快、成本低的优点。

附图说明

图1为本发明分布式集群文件系统的结构示意图；

图2为本发明分布式集群文件系统的引擎单元通信结构示意图；

图3为本发明分布式集群文件系统实施例的结构示意图；

图4为本发明分布式集群文件系统实施例的的引擎单元通信结构示意图；

图5为本发明分布式集群文件系统的引擎单元逻辑功能处理原理图；

图6为本发明分布式集群文件系统的多引擎单元并发访问原理图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

请参阅图1，本发明的一种分布式集群文件系统，包括：

本发明的一种分布式集群文件系统，包括：

复数个引擎单元1，用于提供文件系统的逻辑功能，

复数个存储单元2，用于存储文件；

引擎单元1通过直连或交换网络与存储单元2全互联，任一引擎单元1连接所有存储单元2的双控端口21。从任何一个引擎单元1都能够访问到任何一个存储单元2，从而保证数据通道的畅通无阻，并且提供冗余路径实现高可靠性。存储单元2对引擎单元1提供同一卷设备名称。