[发明专利]基于实时采集数据特征的数据格式化和文件存储方法

摘要

本发明涉及一种基于实时采集数据特征的数据格式化和文件存储方法，包括以下步骤：(1)基于采集数据特征建立统一的数据存储规范；(2)基于时间分段方式建立采集数据格式化机制；(3)基于文件分块和多级索引建立采集数据读写管理机制；(4)建立采集数据读写的事务机制；(5)统一各种采集数据的数据访问接口。与现有技术相比，本发明具有统一各种采集数据的存取方式；并通过减少存储文件数量、降低存储空间开销、减少系统IO消耗等措施提高数据存取的性能；同时增加了历史数据保存的时间长度，从而提升系统的整体可用性。

主权项

1.一种基于实时采集数据特征的文件存储方法，其特征在于，包括以下步骤：(1)基于采集数据特征建立统一的数据存储规范；(2)基于时间分段方式建立采集数据格式化机制；(3)基于文件分块和多级索引建立采集数据读写管理机制；(4)建立采集数据读写的事务机制；(5)统一各种采集数据的数据访问接口；所述的基于采集数据特征建立统一的数据存储规范具体为：根据采集数据的基本特征，统一各种采集数据的存储格式，同时定义连续采集数据记录之间的关联关系和存储方式；所述的根据采集数据的基本特征，统一各种采集数据的存储格式，同时定义连续采集数据记录之间的关联关系和存储方式具体为从数据时间、数据内容、数据关联的角度对采集数据格式进行统一定义：101)定义采集数据记录的时间格式：采集数据记录的时间精度到毫秒等级，并对秒时间和毫秒偏移时间分字段记录，以支持数据记录不同时间精度查询要求；102)定义采集数据记录的内容格式：采集数据存储底层只需记录采集数据的二进制内容和数据长度；103)定义连续采集数据记录间关联：当连续采集数据记录间存在关联时，根据比较相邻前后记录的变化情况，定义后置记录的具体存储内容。