[发明专利]实时数据存储结构、数据写入方法及数据读取方法

说明书

本发明提供了一种实时数据存储结构。所述实时数据存储结构包括包括：数据文件和与所述数据文件对应的索引文件，所述数据文件包括按照时间顺序依次连续设置的n个记录块，每一所述记录块包括具有设定时间间隔内的实时数据，且每一所述记录块对应产生一个唯一标识，n为正整数；所述索引文件包括多个按时间顺序组织的索引表，每一所述索引表按照时间顺序对应记录所述数据文件中最后一个所述记录块中实时数据的唯一标识。本发明还提供一种基于所述实时数据存储结构的数据写入方法和数据读取方法。

技术领域

本发明属于数据存储技术领域，具体地涉及一种实时数据存储结构、数据写入方法及数据读取方法。

背景技术

当前国内外主流产品一般都提供历史存储功能，能较长时间地保存、备份现场的过程数据。但由于控制现场的采集点多，采集时间周期短，因而要保存的历史数据量非常大，根据实时数据的特点有效组织数据存储结构可以在写入和读取性能上取得平衡。

实时数据一般由标签点ID、数据、时间戳和质量码等部分组成，这些数据都必须被持久化存储。一般有两种做法来存储这些数据：

一、将上述所有数据打包成一个结构存入底层数据文件，并返回一个唯一标识关联这条数据，然后将这个唯一标识保存起来，做成索引方便查询；

二、将标签点ID和时间戳组成关键字，数据和质量码组成值形成一个键值对写入底层数据文件。

第一种方法在数据文件层面实现简单，只要不断向文件顺序写入数据即可存储数据，读取文件时只要得到数据存储时返回的唯一标识就可以读取数据，读取写入都只需要一次磁盘寻址，但是要能够读取数据必须将唯一标识进行索引。

发明内容

本发明的目的在于针对现有技术的缺陷，提供一种实时数据存储结构、数据写入方法及数据读取方法。

本发明的技术方案如下：一种实时数据存储结构，包括：数据文件和与所述数据文件对应的索引文件，所述数据文件包括按照时间顺序依次连续设置的n 个记录块，每一所述记录块包括具有设定时间间隔内的实时数据，且每一所述记录块对应产生一个唯一标识，n为正整数；所述索引文件包括多个按时间顺序组织的索引表，每一所述索引表按照时间顺序对应记录所述数据文件中最后一个所述记录块中实时数据的唯一标识。

优选地，每一所述记录块的唯一标识包括所述实时数据在数据文件中的偏移量及自身的长度。

优选地，每一所述记录块还包括与所述实时数据对应设置的数据包头；所述数据包头包括标签点id、数据部分开始时间、数据部分结束时间、及上一个记录块的唯一标识；所述标签点id标识所述记录块的实时数据以辨识所述实时数据，所述数据部分开始时间和所述数据部分结束时间标识所述记录块的数据起止时间。

优选地，所述索引文件是按照所述标签点id和所述实时数据的时间区分，并将所述唯一标识存入相应的索引id的时间段内。

优选地，每一所述索引表包括多个按照时间顺序组织的索引项，每一所述索引项包括多个按时间顺序组织的索引，每一所述索引存储设定时间内最后一个所述记录块中实时数据的唯一标签。

一种根据上述实时数据存储结构的数据写入方法，包括如下步骤：

将所述实时数据以记录块的形式按照时间顺序添加到数据文件，并对每一所述记录块对应产生唯一标识；

将所述数据文件中最后一个所述记录块中实时数据的唯一标识存储在所述索引表中，并按照时间顺序组织所述索引表形成所述索引文件。

优选地，在将所述实时数据以记录块的形式按照时间顺序添加到数据文件，并对每一所述记录块对应产生唯一标识步骤之前还包括步骤：

将获取的缓存数据按照时间戳进行排序；