[发明专利]文件管理方法、系统、介质和计算机程序产品

说明书

本发明的文件管理方法包括：对于由分布式存储系统存储的每个文件，由元数据服务器向文件分配文件标识，文件被划分为一个或多个二级制大对象，每个二级制大对象具有相应的二级制大对象标识，并且基于文件标识和二级制大对象标识，每个二级制大对象被哈希到相应的片段；对于每个片段，由元数据服务器向片段分配片段服务器以加载片段，每个片段具有相应的数据文件和索引文件，数据文件用于存储片段所对应的一个或多个文件的相应二级制大对象的数据信息，并且索引文件用于存储与片段对应的一个或多个文件的相应二级制大对象的索引信息。本发明还涉及文件管理系统、介质和计算机程序产品，在只支持文件追加写的分布式存储系统上对外提供随机写的能力。

技术领域

本发明涉及数据处理领域，特别涉及文件管理方法、系统、介质和计算机程序产品。

背景技术

分布式文件系统向用户提供统一的接口，将用户的数据存储在不同的节点上，并且维护好元数据，用户只需要像访问本地文件系统一样来访问分布式文件系统就行。

现有的分布式文件系统主要通过以下两种方式在各个节点对磁盘上的数据进行管理，一种是借助本地的文件系统进行管理，将数据切分为多个对象文件存储在本地文件系统中，另一种是直接对裸盘进行管理，自己维护磁盘的元数据。在收到上层的IO请求时，根据请求的内容找到对应的元数据，最后转换为对磁盘指定位置的一次读取操作或写入操作。这样的分布式文件系统实现复杂，维护难度大。

发明内容

本发明的目的在于提供文件管理方法、系统、介质和计算机程序产品，可以基于只支持文件追加写的分布式存储系统来实现，并且对外提供随机写的能力。

本发明公开了一种文件管理方法，所述方法包括：

对于由分布式存储系统存储的每个文件，由元数据服务器向所述文件分配文件标识，所述文件被划分为一个或多个二级制大对象，每个二级制大对象具有相应的二级制大对象标识，并且基于所述文件标识和所述二级制大对象标识，每个二级制大对象被哈希到相应的片段；

对于每个片段，由所述元数据服务器向所述片段分配片段服务器以加载所述片段，每个片段具有相应的数据文件和索引文件，所述数据文件用于存储所述片段所对应的一个或多个文件的相应二级制大对象的数据信息，并且所述索引文件用于存储与所述片段对应的所述一个或多个文件的所述相应二级制大对象的索引信息。

可选地，所述方法还包括：

由管理模块解析从客户端接收到的请求，所述请求包括写入请求，并且所述写入请求包括文件标识、偏移、长度和写入数据；

基于所述写入请求中的所述文件标识、所述偏移和所述长度，由所述管理模块确定相应文件的相应二级制大对象及其所对应的相应片段，并且向加载该片段的片段服务器发送所述写入请求；

由该片段服务器将所述写入请求中的所述文件标识、所述偏移、所述长度和所述写入数据写入该片段的一数据文件，更新缓存的索引信息，并且当该数据文件被封存且切换到该片段的下一数据文件时，将缓存的索引信息写入该片段的索引文件。

可选地，所述方法还包括：

由管理模块解析从客户端接收到的请求，所述请求包括读取请求，并且所述读取请求包括文件标识、偏移和长度；

基于所述读取请求中的所述文件标识、所述偏移和所述长度，由所述管理模块确定相应文件的相应二级制大对象及其所对应的相应片段，并且向加载该片段的片段服务器发送所述读取请求；

基于所述读取请求中的所述文件标识、所述偏移和所述长度，由该片段服务器从缓存的索引信息和该片段的索引文件中寻找该片段的相应数据文件的读取位置，并且从该读取位置读取读取数据。