[发明专利]应用于时序历史数据库的索引方法

说明书

技术领域

    本发明涉及一种数据索引方法，特别是涉及时序历史数据库中的数据索引方法。

背景技术

随着工业化、信息化“两化融合”建设的不断深入，工业自动化系统面临的海量数据处理压力越来越大，系统面对的采集点越来越多，系统一年的数据存储规模将从目前的GB级转向TB级甚至是PB级。如此海量的历史数据，传统的关系型数据库无论是存储和检索都显得捉襟见肘，很难满足这些应用的需求。近年来，时序历史数据库的出现使得这些应用需求的实现成为可能。时序历史数据库是专门设计用来处理具有时间序列特性的数据库管理系统，该系统用于对上述的海量数据进行存储管理。在时序历史数据库系统中，索引方法的好坏直接影响着数据库的存储检索速度，本发明正是实现一种高效率的索引方法。

经初步检索，暂未发现有与本发明内容相关的专利条目。

发明内容

   为了能够保证时序历史数据库数据的高效存储和检索，本发明提供了一种应用于时序历史数据库的索引方法，其采用的技术方案如下：

（1）建立索引：

时序历史数据库中的测点文件、索引文件和数据文件三种文件串联，通过二元组结构形式的文件指针进行访问；

对测点文件中的每个测点单独建立索引，所述索引采用多叉树的层级结构，根据测点的数量级以及历史数据量的大小来决定具体树的分叉数目以及层次；以时间点为关键字，索引节点的每个子指针指向下一级的索引节点，最顶层的索引节点为索引根节点，最下一层的索引节点为索引叶子节点，索引节点的每个时间点关键字左边的子指针指向的下一级索引节点中的时间点关键字都小于此时间点关键字，同样每个时间点关键字右边的子指针指向的下一级索引节点中的时间点关键字都大于此时间点关键字；

索引叶子节点指向数据文件中的数据块在数据文件中的存储位置，所述索引叶子节点的每个子指针指向一个数据块，所述索引叶子节点中的每个时间点关键字左边的子指针指向的数据块中数据的时间都小于此时间点关键字，同样每个时间点关键字右边的子指针指向的数据块中数据的时间都大于此时间点关键字；

每个所述索引叶子节点指向的所有数据块都有前指针和后指针，按照时间的顺序和逆序构建成双向链表，相邻索引叶子节点中的首位数据块也互相串联；

（2）数据存储：

采用内存映射文件的方式进行文件操作，历史数据在写入时，先将一定长度的文件内容映射到数据缓存中（该一次文件映射的长度根据数据库中数据存储或者检索操作中包含的测点粒度来自行定义），然后在该数据缓存中填入数据块，并将数据缓存中的内容和数据文件进行同步；

按照上述方式将索引节点内容写入索引缓存中，索引节点的子指针指向所述数据块，并将索引缓存中的内容和索引文件进行同步；

在写入下一个数据块和索引时，直接对缓存进行操作，直到映射到缓存中的文件空间用完，则进行下一次文件映射； 

循环以上流程；

（3）数据检索：

在查询某个测点的一段历史数据时，根据查询时间的起点查询索引；查询索引时，首先找到该测点索引的起点位置，然后进行内存映射文件操作，将文件中一定空间范围内的所有索引节点映射到缓存中，通过查询的起始时间点和索引中的时间点关键字来进行索引定位，若该索引节点非索引叶子节点，则继续搜索子节点；

找到索引叶子节点之后，根据查询时间段的起点定位该历史数据的起始数据块位置；通过同样的内存映射文件方式读取这个数据块，然后利用数据块之间的双向链表一直向后遍历，直到查询到终止时间，中间不需要再去索引进行查询。 

本发明方法通过以时间点为关键字建立多叉树索引，让索引能够按照时间顺序有序地存放在磁盘上索引文件中，时序历史数据也能够按照时间顺序有序地存放在磁盘上数据文件中。在进行数据访问时，通过批量的内存映射文件机制，减少文件访问的频率，保证时序历史数据库数据存储和检索的效率，并且对内存资源的消耗也较小。

附图说明

图1是时序历史数据库测点文件、索引文件、数据文件的访问机制示意图。

图2是时序历史数据库索引结构图。

图3是本发明数据存储流程示意图。

图4是本发明数据检索流程示意图。

图5是内存文件映射示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。