[发明专利]一种分布式文件系统磁盘文件读写方法、装置和系统

说明书

技术领域

本发明涉及分布式文件系统数据传输技术领域，特别是涉及一种分布式文件系统磁盘文件读写方法、装置和系统。

背景技术

在分布式文件系统中，通常通过元数据处理模块来处理客户端需要写入磁盘的文件和/或客户端需要从磁盘读取的文件的属性数据，并在将客户端需要写入磁盘的文件和/或客户端需要从磁盘读取的文件的属性处理处理完成后，将客户端需要写入磁盘的文件传输给磁盘和/或将客户端需要从磁盘读取的文件传输给该客户端。

目前，在现有的分布式文件系统中，通常仅设置一个元数据处理模块，仅通过该元数据处理模块的一个元数据进程来对客户端需要写入磁盘的文件和/或客户端需要从磁盘读取的文件的属性数据进行处理并传输，导致该元数据处理模块的数据处理压力极大，数据处理负载过高，降低了该分布式文件系统中客户端写入和/或读取磁盘文件的速率，同时，也降低了该分布式文件系统中客户端写入和/或读取磁盘文件的可靠性。其中，当客户端需要写入磁盘的文件和/或客户端需要从磁盘读取的文件以小文件为主时，上述现象将表现得尤为明显。

发明内容

有鉴于此，本发明实施例提供一种分布式文件系统磁盘文件读写方法、装置和系统，以解决现有技术中通常仅设置一个元数据处理模块，仅通过该元数据处理模块的一个元数据进程来对客户端需要写入磁盘的文件和/或客户端需要从磁盘读取的文件的属性数据进行处理并传输，导致该元数据处理模块的数据处理压力极大，数据处理负载过高，降低了该分布式文件系统中客户端写入和/或读取磁盘文件的速率，同时，也降低了该分布式文件系统中客户端写入和/或读取磁盘文件的可靠性的问题。

为实现上述目的，本发明实施例提供如下技术方案：

一种分布式文件系统磁盘文件写入方法，所述分布式文件系统包括客户端、元数据处理模块集群和磁盘，所述元数据处理模块集群包括至少2个元数据处理模块，所述分布式文件系统磁盘文件写入方法包括：

所述元数据处理模块集群接收所述客户端发送的文件写入请求；

根据所述文件写入请求确定需写入的磁盘文件，将所有所述需写入的磁盘文件分配给各所述元数据处理模块；

控制各所述元数据处理模块分别将分配的需写入的磁盘文件发送给所述磁盘进行存储。

其中，所述将所有所述需写入的磁盘文件分配给各所述元数据处理模块前还包括：客户端确定需写入的磁盘文件，将各所述需写入的磁盘文件分别与一元数据处理模块进行绑定，得到第一磁盘文件绑定策略；

其中，所述将所有所述需写入的磁盘文件分配给各所述元数据处理模块包括：确定所述第一磁盘文件绑定策略，根据所述第一磁盘文件绑定策略将各所述需写入的磁盘文件分配给与其绑定的元数据处理模块。

其中，述将所有所述需写入的磁盘文件分配给各所述元数据处理模块包括：

确定当前所有所述元数据处理模块的CPU利用率；

将当前待分配的需写入的磁盘文件分配给当前CPU利用率最低的元数据处理模块，直到所有所述需写入的磁盘文件全部被分配。

一种分布式文件系统磁盘文件写入装置，包括：第一接收模块、第一分配模块和第一发送模块；其中，

所述第一接收模块，用于接收客户端发送的文件写入请求；

所述第一分配模块，用于根据所述文件写入请求确定需写入的磁盘文件，将所有所述需写入的磁盘文件分配给各所述元数据处理模块；

所述第一发送模块，用于控制各所述元数据处理模块分别将分配的需写入的磁盘文件发送给磁盘进行存储。

一种分布式文件系统磁盘文件读取方法，所述分布式文件系统包括客户端、元数据处理模块集群和磁盘，所述元数据处理模块集群包括至少2个元数据处理模块，所述分布式文件系统磁盘文件读取方法包括：

所述元数据处理模块集群接收所述客户端发送的文件读取请求；

根据所述文件读取请求确定需读取的磁盘文件，将所有所述需读取的磁盘文件分配给各所述元数据处理模块；

控制各所述元数据处理模块分别将分配的需读取的磁盘文件发送给所述客户端。

其中，所述元数据处理模块集群接收所述客户端发送的文件读取请求前还包括：客户端确定需读取的磁盘文件，将各所述需读取的磁盘文件分别与一元数据处理模块进行绑定，得到第二磁盘文件绑定策略；

其中，所述将所有所述需读取的磁盘文件分配给各所述元数据处理模块包括：确定所述第二磁盘文件绑定策略，根据所述第二磁盘文件绑定策略将各所述需读取的磁盘文件分配给与其绑定的元数据处理模块。