[发明专利]一种历史数据存储及索引方法

摘要

本发明公开了一种历史数据的存储及索引方法，属于实时历史数据库领域。本发明根据工业历史数据存储格式的特点，给出了一种简单高效的历史数据的存储方法和一种高效的索引机制。历史数据的存储方法一方面通过压缩缓存历史数据以及优化数据归档整理流程将磁盘I/O尽可能的减少，另一方面通过将数据归档整理过程中的磁盘I/O负载均衡的分布到各个时间点上，从而保证满足当前历史数据的存储要求，同时该存储方法具有动态扩展的特性；索引机制可以实现对历史数据的快速访问，同时数据库进行动态扩张的时候能够通过动态修改索引文件使得系统对于数据的访问不受影响。

主权项

一种历史数据存储方法，其特征在于，包括：步骤1从一级缓存读取一条历史数据插入请求，所述插入请求包含档案点的编号、所述档案点的数据值及所述数据值的时间戳，所述档案点指一个数据源的时间序列数据；步骤2利用有损压缩算法对所述插入请求中的所述数据值进行有损压缩，如果所述数据值没有被压缩掉，则将所述数据值和所述时间戳写入所述档案点在二级缓存对应的处于写状态的二级缓冲区中，在所述二级缓存中，每个档案点均对应两个二级缓冲区，其中一个二级缓冲区处于写状态时，另一个就处于读状态，当一个档案点的所述数据值及所述时间戳写入所述二级缓存时，首先确定该档案点对应的当前处于写状态的二级缓冲区，然后根据二级缓冲区的缓冲区头确定具体的写入位置，再完成所述数据值及所述时间戳的写入，最后更新当前处于写状态的二级缓冲区的缓冲区头信息；步骤3如果当前处于写状态的二级缓冲区已经写满或者其定时器定时已到达，则将该档案点对应的所述两个二级缓冲区的读、写状态互换，并将处于读状态的二级缓冲区所存储的归档历史数据写入临时归档文件，所述临时归档文件仅存储今天的归档历史数据，具体的写入位置根据档案点编号在临时归档索引文件查询，完成写入后，再次更新临时归档索引文件的写入位置信息；步骤4每当进入新的一天，遍历所有档案点，将其在临时归档文件中的归档历史数据全部写入正式归档文件，每次总是写入所述正式归档文件的尾部，完成写入后，再将写入开始位置记录到归档索引文件；在整理临时归档文件之前,先为新的一天创建临时归档索引文件和临时归档文件；整理完毕之后，删除整理过的临时归档索引文件和临时归档文件。