[发明专利]基于实时采集数据特征的数据格式化和文件存储方法

权利要求书

1.一种基于实时采集数据特征的文件存储方法，其特征在于，包括以下步骤：

(1)基于采集数据特征建立统一的数据存储规范；

(2)基于时间分段方式建立采集数据格式化机制；

(3)基于文件分块和多级索引建立采集数据读写管理机制；

(4)建立采集数据读写的事务机制；

(5)统一各种采集数据的数据访问接口；

所述的基于采集数据特征建立统一的数据存储规范具体为：

根据采集数据的基本特征，统一各种采集数据的存储格式，同时定义连续采集数据记录之间的关联关系和存储方式；

所述的根据采集数据的基本特征，统一各种采集数据的存储格式，同时定义连续采集数据记录之间的关联关系和存储方式具体为从数据时间、数据内容、数据关联的角度对采集数据格式进行统一定义：

101)定义采集数据记录的时间格式：采集数据记录的时间精度到毫秒等级，并对秒时间和毫秒偏移时间分字段记录，以支持数据记录不同时间精度查询要求；

102)定义采集数据记录的内容格式：采集数据存储底层只需记录采集数据的二进制内容和数据长度；

103)定义连续采集数据记录间关联：当连续采集数据记录间存在关联时，根据比较相邻前后记录的变化情况，定义后置记录的具体存储内容。

2.根据权利要求1所述的文件存储方法，其特征在于，所述的基于时间分段方式建立采集数据格式化机制具体为：

根据采集数据存储规范，将时间分段内的采集数据存储内容转换为统一的二进制存储记录，同时根据连续采集数据记录之间的关联关系进行数据压缩，有效减少数据存储空间。

3.根据权利要求2所述的文件存储方法，其特征在于，所述的将时间分段内的采集数据存储内容转换为统一的二进制存储记录，其转换时具体场景为：

201)时间段内仅有一条采集数据记录，按规范将该记录时间和数据内容添加到数据存储单元，并将数据存储单元提交存储；

202)时间段内存在多条采集数据记录，如数据记录间无关联，则将每条记录的时间和数据内容添加到数据存储单元，并将数据存储单元提交存储；

203)时间段内存在多条采集数据记录，如数据记录间存在关联，则根据数据关联情况对后置记录进行压缩转换后将记录的时间和转换后数据内容添加到数据存储单元，并将数据存储单元提交存储。

4.根据权利要求3所述的文件存储方法，其特征在于，所述的数据存储单元为采集数据存储时的基本元素，以整体记录方式存储到数据文件中。

5.根据权利要求1所述的文件存储方法，其特征在于，所述的基于文件分块和多级索引建立采集数据读写管理机制为：

对采集数据文件的存储区域实施分块管理，同时在同一文件内对本文件存储的采集数据按类型和采集时间建立索引，实现灵活的数据存储、数据查询、数据清除、空间扩展机制。

6.根据权利要求5所述的文件存储方法，其特征在于，所述的实现灵活的数据存储、数据查询、数据清除、空间扩展机制，具体包括：

301)文件主体数据存储区域划分为相同大小的多个文件块并以“链式”结构组织，文件管理数据存储区域记录文件块的使用信息；

302)对数据存储单元按时间和存储类型建立索引，索引记录中包含数据存储单元的记录时间、记录大小、所使用的文件块标识、文件块内的偏移位置；

303)数据存储时基于文件块申请机制，在当前分配的数据文件块的指定位置存储数据存储单元内容并在当前分配的索引文件块的指定位置存储索引内容；数据查询时基于索引信息，根据查询时间定位数据存储单元所在数据文件块并快速查询数据内容；数据清除时基于文件块回收机制，根据索引信息将不再使用的数据文件块回收并可重新投入使用；

304)文件块数目不足时，基于文件块扩展机制对文件进行在线扩展，新扩展区域按既有文件块大小继续划分文件块并进行统一管理。