[发明专利]一种处理文件的方法及装置

说明书

本发明公开了一种处理文件的方法及装置，涉及计算机技术领域。该方法应用于共享文件系统，包括：对所述共享文件系统进行元数据扫描处理，获得元数据；所述元数据用于表征描述数据的组织、数据域及其关系的信息；将所述元数据缓存至第一缓存单元，以及，将所述共享文件系统对应的数据缓存至第二缓存单元；接收读文件处理请求；并基于所述读文件处理请求，从所述第一缓存单元中，读取所述读文件请求所需的目标元数据；以及，从所述第二缓存单元中，读取所述读文件请求所需的目标数据；将所述目标元数据和所述目标数据，反馈给所述发送所述读文件处理请求的设备。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种处理文件的方法及装置。

背景技术

目前，媒体存储项目中，基于块存储构建的共享文件系统，都是通过NAS(NetworkAttached Storage，网络附属存储)网络存储协议挂载在客户端，提供服务给客户使用。

具体的，基于块存储导出的文件系统，数据和元数据是混合存储，其中，元数据I/O(Input/Output，输入/输出)都是针对小数据的I/O，而数据I/O都是针对大数据的I/O。因此，在大小I/O混合读写下，I/O的长尾效应非常明显，即数据I/O比较大，导致元数据时延没法保证，即大量的元数据在排队等待。

这样，在业务流量比较大的场景，例如医院拍片场景或者在观看视频累积的文件的场景，针对文件系统的查询和预览操作，涉及到对文件元数据的频繁查询操作时，导致出现文件加载慢等情况出现。

发明内容

本发明实施例提供一种处理文件的方法及装置，用于提高对文件的处理效率。

第一方面，提供一种处理文件的方法，应用于共享文件系统，所述方法包括：

对所述共享文件系统进行元数据扫描处理，获得元数据；所述元数据用于表征描述数据的组织、数据域及其关系的信息；

将所述元数据缓存至第一缓存单元，以及，将所述共享文件系统对应的数据缓存至第二缓存单元；

接收读文件处理请求；并基于所述读文件处理请求，从所述第一缓存单元中，读取所述读文件请求所需的目标元数据；以及，从所述第二缓存单元中，读取所述读文件请求所需的目标数据；

将所述目标元数据和所述目标数据，反馈给所述发送所述读文件处理请求的设备。

在一种可能的实施方式中，对所述共享文件进行元数据扫描处理，获得元数据，包括：

扫描所述共享文件系统中写入的数据；

根据预先配置的网络协议，对所述共享文件系统进行元数据解析，获得元数据；所述元数据至少包括超级块数据和文件数据；

其中，所述超级块数据包括所述共享文件系统格式、所述共享文件系统中节点数目以及所述共享文件系统大小和状态的数据；所述文件数据包括所述共享文件系统中文件权限数据、所述共享文件系统中文件所有者的数据以及所述共享文件系统中文件的大小的数据。

在一种可能的实施方式中，将所述元数据缓存至第一缓存单元，包括：

对所述元数据进行文件归属识别，确定所述元数据中各个数据归属的文件目录；

基于所述元数据中各个数据归属的文件目录，生成目录树，并基于所述目录树，将所述元数据缓存至所述第一缓存单元。

在一种可能的实施方式中，从所述第一缓存单元中，读取所述读文件请求所需的目标元数据，包括：

从所述第一缓存单元中查找是否存在与所述文件对应的元数据匹配的元数据；

当所述第一缓存单元中存在匹配的目标元数据时，从所述第一缓存单元的目录树获取匹配的目标元数据。