[发明专利]一种面向海量动态文件的数据管理方法

说明书

一种面向海量动态文件的数据管理方法，包括如下步骤：S1.设置文件存储用目录架构，包括从根目录起始的多层目录；S2.试图把新文件存储到被删除的文件位置；S3.试图在当前目录存储新文件；S4.增加目录，把新文件存到新增目录中；S5.确定新增同级子目录还是新增层级。本发明通过设定各个参数，自动寻找可存储的空缺位置和空缺目录，严格限制了新目录生成，避免以往存储随意建立新目录造成目录存储文件不均、目录层次庞杂无序的现象，采用全局删除标记文件和局部删除标记文件结合的方式，加快了数据查找效率。

技术领域

本发明涉及软件技术领域，具体涉及一种面向海量动态文件的数据管理方法。

背景技术

在地质灾害监测预警系统中，地质灾害监测点有各种各样的附件文件，如监测点形变照片、设备照片、工作人员巡视照片等。

数量庞大的文件，给管理带来了不小的麻烦。

文件管理主要有两种方式：

方式1：文件保存到数据库；

方式2：文件直接保存在文件目录。

方式1把数据文件以二进制对象的方式保存在数据库中，优点是操作简单，缺点是效率低，当文件比较大的时候，更是如此。

方式2特点与方式1相反。如果文件数量很多如百万级且变动频繁，文件组织困难。

传统的文件组织方式是根据数据的特点生成多级目录结构的方式来组织管理文件，比如在针对地质灾害附件文件的管理，一种方式就是按灾害点所在行政区构建文件目录结构，把文件放在末级目录中。这种文件组织方式的主要缺点在于：目录结构与应用紧密绑定，缺乏通用性；每个子目录包含的文件数量差距可能很大，某些目录包含的文件数量可能过多；单个目录中的文件过多，不便于管理。

发明内容

为克服现有技术存在的技术缺陷，本发明公开了一种面向海量动态文件的数据管理方法。

本发明所述面向海量动态文件的数据管理方法，包括如下步骤：

S1.设置文件存储目录架构，包括从根目录起始的多层目录；

配置参数文件，包括根目录下的全局删除标记文件；

每个目录下配置局部删除标记文件；

配置根目录路径rootPath为全局变量；

配置每个目录的最大可包含子目录数maxDirNum；

配置每个目录的最大可存储文件数量maxFileNum；

其中每个目录的最大可存储文件数量表示直接存储在该目录下的文件，不包括该目录的子目录存储文件；

设置目录控制变量currentDirs为全局变量；目录控制变量currentDirs初始值为根目录；目录控制变量currentDirs用于存储最近新增目录及从根目录到当前目录的目录路径；

根据前个新增文件的存储序号，设置文件序号控制变量currentSn为全局变量；文件序号控制变量currentSn初始值为0；

S2.把新增文件存储在被删除的文件位置，具体包括步骤：

查询全局删除标记文件中是否包含有删除文件的目录，是则获得第一个目录A1,打开目录A1的局部删除标记文件，获得删除文件序号列表，在删除文件序号列表中的第一文件序号对应的存储位置进行文件空位存储；

否则进行步骤S3；

S3.把新增文件存储到当前目录，具体步骤如下：