[发明专利]支持多文件系统挂载的分布式存储方法

权利要求书

1.一种支持多文件系统挂载的分布式存储系统，其特征在于，包括：

文件空间管理模块，在文件编排层根文件空间下划分多个不同使用场景的文件子空间，文件空间管理模块记录文件目录级别的路径映射；

元数据管理模块，用于维护文件编排层上挂载的文件的名称、创建时间、拥有者、修改时间、缓存情况和文件权限；标签管理模块，用于进行记录和维护存放在本分布式文件存储系统中的文件涉及到的业务含义标签；数据生命周期管理模块，进行处理在文件存储系统中的文件的冷热温数据不同数据生命阶段的存储策略，冷数据进行打包压缩放入对象存储系统中，温数据放置于文件原本所在底层文件系统中，热数据加载入内存中随时备取，文件编排层挂载外部文件系统，将热数据加载入内存备用，将内存溢写的数据异步的放置于对象存储系统中；对象存储系统作为冷数据的存储系统，对象存储系统的每个对象都被分配一个唯一的标识符，允许一个服务器或者最终用户来检索对象。

2.如权利要求1所述的支持多文件系统挂载的分布式存储系统，其特征在于，数据生命周期管理模块按数据的使用频次和最后使用时间将数据分层，分为热、温以及冷三层数据，热数据为当前和之前一段时间被反复读取过的数据，温数据为近期使用过的数据但是当前没有被频繁读取的数据，冷数据为较长时间内未被使用过的数据，对于热数据将其调入缓存之中，加快读取速度，对于温数据保留其原始状态，以应对随时读取和调入，冷数据明确其数据意义，将无用数据或任务中间状态生成的数据清理，或者将其压缩打包并入冷数据存储数据空间。

3.如权利要求1所述的支持多文件系统挂载的分布式存储系统，其特征在于，当在文件编排层创建一个文件对象时，在底层的文件系统中创建相应的文件对象；当底层文件系统的目录第一次被访问时，文件编排层加载文件对象的元信息。

4.如权利要求1所述的支持多文件系统挂载的分布式存储系统，其特征在于，默认设置下，对象存储系统会在占用文件编排层的工作节点的一部分系统内存，通过使用ramdisk软件将内存模拟为硬盘来使用，当计算框架读取挂载与文件编排层的数据时，文件编排层的工作节点会首先检查本地内存中是否存在该数据，若存在，对外提供该文件的对应的访问接口，若不存在先将该文件拷贝至ramdisk创建的虚拟硬盘中。

5.如权利要求1所述的支持多文件系统挂载的分布式存储系统，其特征在于，文件编排层的存储机制为动态的，在内存中的数据量到达一个阈值时，动态的根据不同的回收算法将旧数据写出磁盘，然后将新的数据加载入内存空间中。

6.如权利要求1所述的支持多文件系统挂载的分布式存储系统，其特征在于，文件空间管理模块在文件编排层创建、删除以及修改文件目录操作，通过将底层多个文件系统的文件树映射到一个唯一文件系统的文件树上，对外提供统一的文件目录空间。

7.如权利要求1所述的支持多文件系统挂载的分布式存储系统，其特征在于，当文件编排层中的数据量达到一个阈值，文件编排层从缓存中溢写的数据写入对象存储中，保留所有被加载到过文件编排层的文件的最后状态。

8.如权利要求1所述的支持多文件系统挂载的分布式存储系统，其特征在于，文件空间管理模块具有独立的挂载空间，所有的底层文件系统都置于挂载空间的子集被操作，底层的文件系统都会经过文件编排层对外保留通用的数据访问接口。

9.如权利要求1所述的支持多文件系统挂载的分布式存储系统，其特征在于，文件编排层将存在于不同底层文件系统的文件目录以多对一的方式映射到虚拟文件集合，提供增加，合并，删除，更改子集合的能力，虚拟文件集合对上层文件系统暴露，并提供等同于真实文件目录访问的效果。

10.如权利要求1所述的支持多文件系统挂载的分布式存储系统，其特征在于，文件编排层异步的把文件编排层溢写的文件传输到对象存储系统，在对象存储系统中根据数据指纹算法只保留所有被加载到过内存里的文件的最后状态；

外部计算框架在通过文件编排层访问底层的文件数据不可达时，文件编排层将尝试从自有的对象存储中找寻是否有被溢写出的文件的最新状态，若有则返回对象存储中存储文件的物理地址。