[发明专利]文件归档实现方法和装置以及文件访问方法和装置

说明书

技术领域

本发明实施例涉及信息管理技术领域，尤其涉及一种文件归档实现方法和装置以及文件访问方法和装置。

背景技术

云存储和大数据背景下，非结构化数据呈现爆炸式增长趋势。针对海量文件，除了满足存储容量、性能和扩展性之外，还需考虑文件的周期性访问和文件分布规律，有效实现文件迁移或文件归档，以优化主存储架构，降低非活跃文件对宝贵主存资源的占用。

在信息管理领域，文件迁移以及文件归档是一种常见的数据结构优化和数据长期保存的方法，已经沿用多年。现有的文件归档方法，一般是通过迁移归档软件或集成于备份软件的迁移归档模块扫描文件结构和访问频率，按时间策略，访问频度策略等实现文件的动态流转，从而达到文件归档的目的。

上述文件归档方法的缺陷在于：主要针对较小的文件环境，如几TB，几十TB，并不是适用于海量文件存储环境，主要存在两方面制约：

第一、海量文件存储环境数据量巨大，数据量膨胀至几百TB甚至几PB时，现有的文件归档方法需要扫描和生成索引的文件数量过于庞大，性能开销太大，加之业务系统没有足够的时间窗口容忍此类操作，因此不具备可实施性和可操作性；

第二、现有的文件归档一般都是针对独立的主机环境，基于本地文件系统实现，其结构存在封闭性。

现有的基于分布式文件存储系统的文件归档方法，一般是通过将多个磁盘的存储层区分高低性能，监控文件的访问频率和文件使用周期，并将非活跃文件从一个磁盘的存储层迁移到设定磁盘中，从而达到文件归档的目的。

上述基于分布式文件存储系统的文件归档方法的缺陷在于：无法跨越磁盘，实现从磁盘到磁带库设备的跨越，因此无法实现文件离线和长期保存。

发明内容

本发明实施例提供一种文件归档实现方法和装置以及文件访问方法和装置，以实现海量文件的从磁盘到磁带库设备的归档。

第一方面，本发明实施例提供了一种文件归档实现方法，包括：

迁移归档控制节点基于迁移策略，将主存储业务节点中的待迁移文件迁移至磁带库设备的LTFS(线性磁带文件系统)中，其中，所述主存储业务节点中存储有待迁移的文件的描述信息，所述迁移归档控制节点和所述主存储业务节点组成分布式文件存储系统；

所述迁移归档控制节点接收所述LTFS生成的文件目录，其中所述文件目录在完成文件迁移时生成；

所述迁移归档控制节点将所述LTFS配置为NFS(Network File System，网络文件系统)，并将所述LTFS所包含的文件对应的共享路径添加到所述文件目录中，作为共享文件目录；

所述迁移归档控制节点将所述共享文件目录映射至所述主存储业务节点。

第二方面，本发明实施例提供了一种文件归档实现装置，包括：

迁移模块，用于基于迁移策略，将主存储业务节点中的待迁移文件迁移至磁带库设备的LTFS中，其中，所述主存储业务节点中存储有待迁移的文件的描述信息；

接收模块，用于接收所述LTFS生成的文件目录，其中所述文件目录在完成文件迁移时生成；

配置模块，用于将所述LTFS配置为NFS，并将所述LTFS所包含的文件对应的共享路径添加到所述文件目录中，作为共享文件目录；

映射模块，用于将所述共享文件目录映射至所述主存储业务节点。

第三方面，本发明实施例提供了一种文件访问方法，包括：

主存储业务节点接收客户端发起的文件访问请求；

所述主存储业务节点在共享文件目录中查找与所述文件访问请求对应的文件；

如果查找成功，所述主存储业务节点将与所述文件访问请求对应的文件的共享路径返回客户端，以使所述客户端根据所述共享路径，访问与迁移归档控制节点连接的磁带库设备的LTFS中的文件；

其中，所述共享文件目录采用本发明任意实施例提供的文件归档实现方法形成。

第四方面，本发明实施例提供了一种文件访问装置，包括：

文件访问请求接收模块，用于接收客户端发起的文件访问请求；

第一查找模块，用于在共享文件目录中查找与所述文件访问请求对应的文件；

文件访问模块，用于如果查找成功，将与所述文件访问请求对应的文件的共享路径返回客户端，以使所述客户端根据所述共享路径，访问与迁移归档控制节点连接的磁带库设备的LTFS中的文件；

其中，所述共享文件目录采用本发明任意实施例提供的文件归档实现装置形成。