[发明专利]一种时序数据的存储方法

说明书

本发明公开了一种时序数据的存储方法，包括：将来自网络的每条时间线的时序数据记录以行式存储方式缓存至内存；当所述内存中缓存的一条时间线的时序数据记录需要落盘时，确定所述时间线的待落盘的时序数据记录的条数和Last文件中的时序数据记录的条数之和；若所述时间线的时序数据记录条数之和小于预定数据记录条数N，则将所述时间线的待落盘的时序数据记录写入所述Last文件中；若所述时间线的时序数据记录条数之和大于或等于预定数据记录条数N，则将所述时间线的待落盘的时序数据记录和所述Last文件中的时序数据记录合并后以列式存储方式写入data文件中。

技术领域

本发明涉及数据处理领域，特别涉及一种时序数据的存储方法。

背景技术

为提高压缩率和分析速度，时序数据一般采取列式存储。列式存储需要把时序数据按照时间段一段一段的存储。新建一段时，往往需要预留一片存储空间。当时间线特别多时，比如一千万条时间线，需要预留的空间就很大，导致系统存储资源特别是内存资源不足。

发明内容

本发明实施例提供一种时序数据的存储方法，解决在列式存储时序数据记录时为时序数据记录预留大量空间而导致存储资源不足的问题。

本发明实施例提供一种时序数据的存储方法，所述方法包括：

将来自网络的每条时间线的时序数据记录以行式存储方式缓存至内存；

当所述内存中缓存的一条时间线的时序数据记录需要落盘时，确定所述时间线的待落盘的时序数据记录的条数和Last文件中的时序数据记录的条数之和；

若所述时间线的时序数据记录条数之和小于预定数据记录条数N，则将所述时间线的待落盘的时序数据记录写入所述和Last文件中；

若所述时间线的时序数据记录条数之和大于或等于预定数据记录条数N，则将所述时间线的待落盘的时序数据记录和所述Last文件中的时序数据记录合并后以列式存储方式写入data文件中。

优选地，所述内存中缓存的一条时间线的时序数据记录需要落盘包括：

检测所述内存或所述内存中缓存的某一时间线的偏移量列表；

若所述内存不足或所述内存中缓存的某一时间线的偏移量列表被占满时，确定所述内存中缓存的一条时间线的时序数据记录需要落盘。

优选地，所述Last文件为所述每条时间线预留用来存储该条时间线的N条时序数据记录的存储空间。

优选地，所述将所述时间线的待落盘的时序数据记录写入所述Last文件中包括：

将所述时间线的待落盘的时序数据记录追加到所述时间线的存储空间中的所有时序数据记录之后。

优选地，所述Last文件中具有包含N个偏移量记录的偏移量列表，所述偏移量记录用于指示所述时间线的时序数据记录的偏移量。

优选地，在将所述时间线的待落盘的时序数据记录写入所述Last文件中后，将相应时序数据记录的偏移量依次追加到所述时间线的偏移量列表中。

优选地，所述Last文件中包含在前已写入的所述时间线的时序数据记录。

优选地，所述将所述时间线的待落盘的时序数据记录写入所述Last文件中包括：

将所述时间线的待落盘的时序数据记录和从所述Last文件中读取的所述时间线的时序数据记录进行合并，得到所述时间线的已合并时序数据记录；

创建用于存储所述时间线的已合并时序数据记录的新Last文件；

将所述时间线的已合并时序数据记录写入所述新Last文件中，然后删除所述时间线的原有的Last文件。