[发明专利]一种高效的传感器历史数据归档方法

摘要

本发明公开了一种高效的传感器历史数据归档方法。本方法为：1)在服务器上建立两级缓存对传感器产生的历史数据记录进行缓存；每一级缓存均包含多个缓存块；2)将待缓存的所述历史数据记录首先缓存到一级缓存的当前使用且未满的缓存块中，并且实时从一级缓存中取出数据并压缩后缓存到二级缓存中；在二级缓存中，根据历史数据记录的来源，将同一传感器产生的历史数据记录存放到同一编号的缓存块中；3)从二级缓存中取出若干被存满的缓存块并根据被存满的时间先后顺序确定这些取出缓存块在文件中的写入位置；然后根据确定的写入位置将这些取出的缓存块写入文件中，并清空这些取出的缓存块。本方法针对传感器历史数据的归档具有高效率的表现。

主权项

1.一种高效的传感器历史数据归档方法，其步骤为：1)在服务器上建立两级缓存对传感器产生的历史数据记录进行缓存；其中，每一级缓存均包含多个缓存块；2)将待缓存的所述历史数据记录首先缓存到一级缓存的当前使用且未满的缓存块中，并且实时从该一级缓存中取出数据并压缩后缓存到二级缓存中；其中，在该二级缓存中，根据历史数据记录的来源，将同一传感器产生的历史数据记录存放到同一编号的缓存块中；3)从该二级缓存中取出若干被存满的缓存块并根据被存满的时间先后顺序确定这些取出缓存块在文件中的写入位置；然后根据确定的写入位置将这些取出的缓存块写入文件中，并清空这些取出的缓存块；其中，所述文件的存储结构为链式文件存储结构，按二级缓存中缓存块被写满的时间先后顺序在所述文件末尾依次存储缓存块中的数据；以及为二级缓存中每一缓存块创建一对应的索引块，每个索引块包含的数据内容为：对应缓存块中第一条历史数据记录的时间戳、对应缓存块中最后一条历史数据记录的时间戳、下一级索引块的块头在文件中的偏移位置、对应缓存块的块头在文件的偏移位置、对应的缓存块的块偏移；索引块之间用pNext链接构建成了一个单链表，每个索引块有一个指针pData指向对应的缓存块块头在文件中的偏移位置；单链表中相邻的两个索引块中的前一个索引块为上级索引块；步骤3)中，预先计算好n个缓存块及n个索引块在文件中需要写入的位置，然后根据待写入位置分别对索引块和缓存块进行排序，然后按序写入n个缓存块以及按序写入n个索引块，最后根据上级索引块在文件中的先后顺序依次修改上级索引块的pNext，使其指向本级索引块。