[发明专利]一种基于层次划分的文件处理方法及系统

说明书

技术领域

本发明涉及计算机领域，尤其涉及一种基于层次划分的文件处理方法及系统。

背景技术

信息化时代，数据存储越来越重要，所存储的数据要为人们所用，需要依附在文件系统之上；传统的单一层级文件系统只有一种存储介质（通常是机械硬盘），速度较低，在大数据频繁访问的情况下显得越来越力不从心，主要有总体存储成本高，存储性能被浪费，难于优化，数据可用性较低，数据迁移困难高等问题。

随着基于PCI-E的闪存存储设备，固态硬盘的出现，以及内存容量越来越大，已经可以实现对数据的更快读取，但是高速存储介质价格较高，容量较小，难以达到大容量存储的效果。

发明内容

本发明提供一种基于层次划分的文件处理方法及系统，以解决上述问题。

本发明提供一种基于层次划分的文件处理方法。上述方法包括以下步骤：

分层文件系统调度侦测模块按照预设策略对热点数据进行识别，并根据识别结果，将所述热点数据存储至对应的存储硬件设备。

本发明还提供一种基于层次划分的文件处理系统，包括：调度侦测模块、分级存储模块；调度侦测模块与分级存储模块相连；

调度侦测模块，用于按照预设策略对热点数据进行识别，并根据识别结果，将所述热点数据存储至对应的分级存储模块。

通过实施本发明的技术方案，可以同时采用不同速度的存储设备，在操作系统、文件系统和硬件设备上划分出快速读取层级和一般存储层级等几级层次；其中快速读取层级作为数据缓冲区，为系统应用提供加速读取热点，低速存储层级作为数据存储区，数据的读取操作由低速存储区向快速读取区流动，从而提高传统的单一层次文件系统带宽和反应速度。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为本发明的实施例1的分层文件系统工作原理示意图；

图2所示为本发明的实施例2的基于层次划分的文件处理流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明提供了一种基于层次划分的文件处理方法，包括以下步骤：

分层文件系统调度侦测模块按照预设策略对热点数据进行识别，并根据识别结果，将所述热点数据存储至对应的存储硬件设备。

其中，分层文件系统调度侦测模块按照预设策略对热点数据进行识别，并根据识别结果，将所述热点数据存储至对应的存储硬件设备的过程为：

对于读写频繁的热点数据，由分层文件系统调度侦测模块进行识别并放于分层文件系统热点区即分层文件系统的第一层级，对应固态硬盘。

其中，系统数据应用调用时，由分层文件系统分配从热点区进行读取到内存中，传输给该应用。

其中，分层文件系统调度侦测模块按照预设策略对热点数据进行识别，并根据识别结果，将所述热点数据存储至对应的存储硬件设备的过程为：

对于读写不频繁的热点数据，由分层文件系统的存储区存放即分层文件系统的第二层级，对应机械硬盘等低速存储硬件设备。

其中，在系统数据应用调用时，由分层文件系统分配从存储区进行读取到内存中，传输给该应用。

其中，设置预设值来区分读写频繁还是不频繁：大于预设值，则认为是频繁；小于或等于预设值，则认为是不频繁。

图1所示为本发明的实施例1的分层文件系统工作原理示意图，如图1所示，分层文件系统是在系统数据应用和存储硬件设备之间。

对于读写频繁的热点数据，由分层文件系统调度侦测模块进行识别并放于分层文件系统热点区（分层文件系统的第一层级），对应固态硬盘等高速存储硬件设备；系统数据应用调用时，由分层文件系统分配从热点区进行读取到内存中，传输给该应用；分层文件系统的第一层级，部署在内存，固态硬盘等读写速度快的存储设备上，用于存储读写次数多的热点数据，从而达到加速文件系统的作用

对于读写不频繁的热点数据，由分层文件系统的存储区存放（分层文件系统的第二层级），对应机械硬盘等低速存储硬件设备；在系统数据应用调用时，由分层文件系统分配从存储区进行读取到内存中，传输给该应用；分层文件系统的第二层级，部署在机械硬盘等读写速度相对较慢但容量大的存储设备，存储读写次数不多的数据，主要作为存储数据和备份使用。