[发明专利]一种基于分布式系统的文件处理方法、装置及系统

说明书

技术领域

本发明属于文件处理领域，尤其涉及一种基于分布式系统的文件处理方法、装置及系统。

背景技术

图1所示为现有技术的文件处理方法流程图，包括客户端、元数据服务器、数据处理服务器，其中，所述客户端分别与所述元数据服务器、所述数据处理服务器相连；所有文件元数据存储至元数据服务器，而文件存储至数据处理服务器中。

文件数据写流程如下：

客户端向元数据服务器发送写入或修改文件元数据请求；

所述元数据服务器存储文件元数据或者修改文件元数据后，向客户端发送写入或修改成功响应消息；

所述客户端接收写入或修改成功响应消息后，将文件写入数据处理服务器。

文件数据读流程如下：

客户端向元数据服务器发送文件元数据获取请求；

所述元数据服务器接收所述元数据获取请求后，向所述客户端反馈文件元数据响应消息；其中，所述文件元数据响应消息中携带了文件元数据；

所述客户端向数据处理服务器发送文件数据获取请求；

所述数据处理服务器向客户端反馈文件数据响应消息；其中，所述文件数据响应消息中携带了文件。

但是上述文件读写流程中，无论文件大小，都需要客户端分别与元数据服务器、数据处理服务器进行交互，大大延迟了文件处理时间。

发明内容

本发明提供一种基于分布式系统的文件处理方法、装置及系统，以解决上述问题。

本发明提供一种基于分布式系统的文件处理方法。上述方法包括以下步骤：

客户端访问文件时，根据文件大小，确定对应的访问目标对象并从所述访问目标对象中获取对应的文件。

本发明还提供了一种基于分布式系统的文件处理装置，包括目标对象确定模块、文件获取模块；其中，所述目标对象确定模块与所述文件获取模块相连；

所述目标对象确定模块，用于访问文件时，根据文件大小，确定对应的访问目标对象并将确定的所述访问目标对象发送至所述文件获取模块；

所述文件获取模块，用于从所述访问目标对象中获取对应的文件。

本发明还提供了一种基于分布式系统的文件处理系统，包括客户端、元数据服务器、数据处理服务器；其中，所述客户端分别与所述元数据服务器、所述数据处理服务器相连；

所述客户端，用于若所述文件大小小于预设文件大小，则从元数据服务器中获取与小于预设文件大小的文件对应的文件元数据；还用于从文件元数据的扩展属性中获取对应的文件并进行读取访问；

用于若所述文件大小大于或等于预设文件大小，则从元数据服务器中获取与大于或等于预设文件大小的文件对应的文件元数据；还用于从数据处理服务器中获取大于或等于预设文件大小的文件并进行读取访问；

所述文件元数据，用于存储文件元数据。

所述数据处理服务器，用于存储大于或等于预设文件大小的文件。

通过以下方案：客户端访问文件时，根据文件大小，确定对应的访问目标对象并从所述访问目标对象中获取对应的文件；实现了根据文件大小，从对应的访问目标对象中获取对应的文件进行访问，大大节约了文件访问时间，提高了文件处理效率。

通过以下方案：若所述文件大小小于预设文件大小，则所述客户端从元数据服务器中获取与小于预设文件大小的文件对应的文件元数据；所述客户端从文件元数据的扩展属性中获取对应的文件并进行读取访问；大大提高了对小文件的读性能；同时，由于不需要从数据处理服务器中获取文件，因此，大大节约了文件访问时间，提高了文件处理效率。

通过以下方案：若所述客户端从元数据服务器中获取的文件元数据的扩展属性中获取对应的文件，则将所述文件直接加载至内存中进行读取访问；若所述客户端从数据处理服务器中获取大于或等于预设文件大小的文件，则将所述文件分割成预设份数后，按顺序加载至内存中进行顺序读取访问；实现了根据访问文件大小，确定不同的读取方式，大大提高了读取的效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为现有技术的文件处理方法流程图；

图2所示为本发明实施例1的文件处理方法流程图；

图3所示为本发明实施例2的文件处理装置结构图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。