[发明专利]基于实时采集数据特征的数据格式化和文件存储方法

说明书

本发明涉及一种基于实时采集数据特征的数据格式化和文件存储方法，包括以下步骤：(1)基于采集数据特征建立统一的数据存储规范；(2)基于时间分段方式建立采集数据格式化机制；(3)基于文件分块和多级索引建立采集数据读写管理机制；(4)建立采集数据读写的事务机制；(5)统一各种采集数据的数据访问接口。与现有技术相比，本发明具有统一各种采集数据的存取方式；并通过减少存储文件数量、降低存储空间开销、减少系统IO消耗等措施提高数据存取的性能；同时增加了历史数据保存的时间长度，从而提升系统的整体可用性。

技术领域

本发明涉及铁路信号系统，尤其是涉及一种基于实时采集数据特征的数据格式化和文件存储方法，通过该方法统一了各类采集数据的存储和访问方式，减少存储文件数量和存储空间消耗，增加采集数据存储的历史时间长度，提高数据存储和查询性能，从而提升系统的整体可用性。

背景技术

采集数据存储是监测类系统的基础功能，传统的采集数据存储方法对各种采集数据采用不同的处理方式，导致采集数据访问方式不统一，增加了系统上层开发的难度和成本；另外传统数据存储方法针对高频度大量采集数据采用按时间或数据标识划分文件的方式，使数据文件数量过多、磁盘碎片不断增加最终导致系统性能下降；同时传统数据存储方法采用无差别全记录方式，即使在采集数据没有变化的情况时也花费大量存储空间，导致无法长时间存储历史数据。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种用于铁路信号集中监测系统、地铁维护支持系统、铁路信号综合运维系统的基于实时采集数据特征的数据格式化和文件存储方法。

本发明的目的可以通过以下技术方案来实现：

一种基于实时采集数据特征的数据格式化和文件存储方法，其特征在于，包括以下步骤：

(1)基于采集数据特征建立统一的数据存储规范；

(2)基于时间分段方式建立采集数据格式化机制；

(3)基于文件分块和多级索引建立采集数据读写管理机制；

(4)建立采集数据读写的事务机制；

(5)统一各种采集数据的数据访问接口。

所述的基于采集数据特征建立统一的数据存储规范具体为：

根据采集数据的基本特征，统一各种采集数据的存储格式，同时定义连续采集数据记录之间的关联关系和存储方式。

所述的根据采集数据的基本特征，统一各种采集数据的存储格式，同时定义连续采集数据记录之间的关联关系和存储方式具体为从数据时间、数据内容、数据关联的角度对采集数据格式进行统一定义：

101)定义采集数据记录的时间格式：采集数据记录的时间精度到毫秒等级，并对秒时间和毫秒偏移时间分字段记录，以支持数据记录不同时间精度查询要求；

102)定义采集数据记录的内容格式：采集数据存储底层只需记录采集数据的二进制内容和数据长度；

103)定义连续采集数据记录间关联：当连续采集数据记录间存在关联时，根据比较相邻前后记录的变化情况，定义后置记录的具体存储内容。

所述的基于时间分段方式建立采集数据格式化机制具体为：

根据采集数据存储规范，将时间分段内的采集数据存储内容转换为统一的二进制存储记录，同时根据连续采集数据记录之间的关联关系进行数据压缩，有效减少数据存储空间。

所述的将时间分段内的采集数据存储内容转换为统一的二进制存储记录，其转换时具体场景为：

201)时间段内仅有一条采集数据记录，按规范将该记录时间和数据内容添加到数据存储单元，并将数据存储单元提交存储；