[发明专利]一种分布式文件处理方法及装置

说明书

本发明涉及数据处理技术领域，公开了一种分布式文件处理方法及装置，包括：元数据服务器接收终端发送的文件读写请求，所述文件读写请求是根据所述终端挂载的所述元数据服务器的共享目录发送的；所述元数据服务器根据所述共享目录挂载的文件系统，向所述文件系统的存储集群发送所述文件读写请求，所述元数据服务器与所述存储集群位于同一文件系统集群中。本发明用以解决现有技术中不同操作系统的终端无法接入文件系统，或者接入到文件系统的过程复杂，耗时较长的问题。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种分布式文件处理方法及装置。

背景技术

作为新兴的网络存储技术，Ceph提供了一个性能可靠、扩展性好的、统一的、分布式存储系统，是一个免费开源软件。不同于Swift只提供对象存储服务，Ceph同时还提供块存储，文件存储等存储服务。

Ceph系统可以大致划分为四部分：client(客户端)；MDS(元数据服务器，Metadataserver cluster)，用于缓存和同步元数据；osd(Object storage cluster，对象存储集群)，用于存储数据；mon(Cluster monitors，集群监控器)，执行监视功能。

对于Ceph文件系统，用户终端需要在本地安装相应的客户端软件包，并挂载Ceph文件系统，才能对Ceph文件系统进行访问，现有的Ceph文件系统有两种挂载方式：基于内核驱动挂载和用户空间挂载，对应的软件分别为Ceph-fuse和mount.ceph。对于这两种挂载方式，在挂载Ceph文件系统之前，均需要进行cephx密钥认证，并向集群监控器申请服务IP和端口。当集群监控器的监听端口、服务IP或者cephx认证密钥发生变化时，客户端需要相应更改挂载项，并且由于部分操作系统不支持软件包的安装，如windows系统或者unix系统，则安装了这部分操作系统的终端无法接入文件系统，或接入到文件系统的过程相当复杂繁琐，时间消耗较长。

发明内容

本发明实施例提供一种分布式文件处理方法及装置，用以解决现有技术中不同操作系统的终端无法接入到文件系统，或接入到文件系统的过程复杂，耗时较长的问题。

本发明实施例提供的分布式文件处理方法包括：

元数据服务器接收终端发送的文件读写请求，所述文件读写请求是所述终端根据挂载的所述元数据服务器的共享目录发送的；

所述元数据服务器根据所述共享目录挂载的文件系统，向所述文件系统的存储集群发送所述文件读写请求，所述元数据服务器与所述存储集群位于同一文件系统集群中。

可选的，所述元数据服务器包括主节点服务器和备节点服务器；

所述元数据服务器接收终端发送的文件读写请求，包括：

所述主节点服务器接收终端发送的文件读写请求；

所述元数据服务器接收终端发送的文件读写请求之后，还包括：

所述主节点服务器在确定所述文件读写请求为多个文件的读写请求时，根据所有元数据服务器的工作量，确定出处理所述文件读写请求的备节点服务器；

所述主节点服务器将所述文件读写请求通过内部传输通道发送给所述备节点服务器。

可选的，所述根据所有元数据服务器的工作量，确定出处理所述文件读写请求的备节点服务器，包括：

针对一个元数据服务器，所述元数据服务器根据以下公式计算所述元数据服务器的工作量：

G_k＝N_k*T_k