[发明专利]支持多文件系统挂载的分布式存储方法

说明书

本发明涉及一种支持多文件系统挂载的分布式存储系统，其中，包括：文件空间管理模块，在文件编排层根文件空间下划分多个不同使用场景的文件子空间，文件空间管理模块记录文件目录级别的路径映射；元数据管理模块，用于维护文件编排层上挂载的文件；标签管理模块，用于进行记录和维护存放在本分布式文件存储系统中的文件涉及到的业务含义标签；数据生命周期管理模块，进行处理在文件存储系统中的文件的冷热温数据不同数据生命阶段的存储策略，冷数据进行打包压缩放入对象存储系统中，温数据放置于文件原本所在底层文件系统中，热数据加载入内存中随时备取；对象存储系统作为冷数据的存储系统，对象存储系统的每个对象都被分配一个唯一的标识符，允许一个服务器或者最终用户来检索对象。

技术领域

本发明涉及操作系统技术，特别涉及一种支持多文件系统挂载的分布式存储方法。

背景技术

从现代操作系统诞生以来，linux，windows等操作系统均支持多种文件系统(xfs，ntfs，ext4等)的挂载和读写，这些文件系统的设计和实现均是为单机操作系统所服务，提供对单机系统上文件的读取，写入，修改，删除等操作提供统一的访问接口。而如今，受限于摩尔定律增长速度的止步不前，单机的处理能力和竖向扩展能力的增长预期已大不如前，主流的大批量数据处理过程和重计算分析任务逐渐转移到分布式系统运行，与单机时代对应的单机操作系统中的任务调度，进程管理，文件管理等模块都有功能相似的分布式任务调度系统，分布式进程管理，分布式文件系统。市场上主力的分布式文件系统之间并不互相兼容，还未有如上文所述的对应的多种分布式文件挂载能力的分布式组件。

在传统的大数据生态环境中，通常使用的存储组件为大数据套件中的分布式块文件系统，在其之上建设数据仓库为业务人员提供需要的数据服务。这种方式建设的数据仓库系统往往需要依赖于各自的数据抽取，数据传输，数据转换工具，每一份最终到达业务用户的数据会在数据处理的流程上产生多份冗余数据，是对存储资源的浪费；并且当同一平台上存在有多个分布式块文件系统实例时，多分布式块文件系统之间文件空间并不互通，需要跨分布式块文件系统的文件读取或写入时，会有诸多的不便。同时，分布式块文件系统，底层存储的最小单元为128MB的文件块，当数据有大量的小文件(例如图片，短音视频)时的数据场景并不适合分布式块文件系统作为存储组件，因为大量的小文件会为中心元数据服务器上元数据的查找带来压力。部署方面，传统的基于分布式块文件系统的大数据平台，需要将Hive，HBase，Spark等数据引擎的执行节点部署到和分布式块文件系统的数据节点同一批服务器上，这种计算和存储耦合的方案限制了部署的灵活性。

发明内容

本发明的目的在于提供一种支持多文件系统挂载的分布式存储系统，用于解决上述现有技术的问题。

本发明一种支持多文件系统挂载的分布式存储系统，其中，包括：文件空间管理模块，在文件编排层根文件空间下划分多个不同使用场景的文件子空间，文件空间管理模块记录文件目录级别的路径映射；元数据管理模块，用于维护文件编排层上挂载的文件的名称、创建时间、拥有者、修改时间、缓存情况和文件权限；标签管理模块，用于进行记录和维护存放在本分布式文件存储系统中的文件涉及到的业务含义标签；数据生命周期管理模块，进行处理在文件存储系统中的文件的冷热温数据不同数据生命阶段的存储策略，冷数据进行打包压缩放入对象存储系统中，温数据放置于文件原本所在底层文件系统中，热数据加载入内存中随时备取，文件编排层挂载外部文件系统，将热数据加载入内存备用，将内存溢写的数据异步的放置于对象存储系统中；对象存储系统作为冷数据的存储系统，对象存储系统的每个对象都被分配一个唯一的标识符，允许一个服务器或者最终用户来检索对象。