[发明专利]时序数据的存储、读取方法、装置、电子设备及存储介质在审
| 申请号: | 201811509734.7 | 申请日: | 2018-12-11 |
| 公开(公告)号: | CN111309720A | 公开(公告)日: | 2020-06-19 |
| 发明(设计)人: | 张洪斌 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
| 主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2458 |
| 代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
| 地址: | 100080 *** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 时序 数据 存储 读取 方法 装置 电子设备 介质 | ||
1.一种时序数据的存储方法,其特征在于,包括:
获取待存储的时序数据,基于所述时序数据的时序数据项确定存储位置标识,其中,所述时序数据包含所述时序数据项、时序数据项的值和时间戳;
根据所述存储位置标识由缓存块集合中确定目标缓存块,根据所述时序数据项由所述目标缓存块中确定对应的存储位置;
采用设定压缩算法对所述时序数据项的值和所述时间戳进行压缩处理,并将压缩数据存储于所述存储位置。
2.根据权利要求1所述的方法,其特征在于,获取待存储的时序数据,基于所述时序数据的时序数据项确定存储位置标识,包括:
获取待存储的时序数据的时序数据项,根据哈希函数计算所述时序数据项对应的哈希值;
根据缓存块集合中的缓存块的数量确定缓存节点数量,对所述哈希值和缓存节点数量进行取模运算,得到缓存节点标识,其中,所述缓存节点数量与所述缓存块的数量存在对数关系;
基于所述缓存节点标识与缓存块的对应关系,确定用于存储所述时序数据的缓存块,将所述缓存块的标识信息作为存储位置标识。
3.根据权利要求1或2所述的方法,其特征在于,采用设定压缩算法对所述时序数据项的值和所述时间戳进行压缩处理,并将压缩数据存储于所述存储位置,包括:
获取所述待存储的时序数据中的时间戳和时序数据项的值;
根据所述时间戳、首个时序数据中的时间戳与压缩序列中已写入的最后一个压缩数据的时间戳压缩值之间的差值、以及所述时序数据项的值与首个时序数据中的时序数据项的值之间的相似度,对所述待存储的时序数据中的时间戳和时序数据项的值进行无损压缩处理,得到压缩数据;
将所述压缩数据存储于所述存储位置上的压缩序列中;其中,所述首个时序数据是指所述压缩序列最近一次被清空后所述压缩序列中被存储的第一个时序数据并且首个时序数据未被压缩。
4.根据权利要求3所述的方法,其特征在于,根据所述时间戳、首个时序数据中的时间戳与压缩序列中已写入的最后一个压缩数据的时间戳压缩值之间的差值、以及所述时序数据项的值与首个时序数据中的时序数据项的值之间的相似度,对所述待存储的时序数据中的时间戳和时序数据项的值进行无损压缩处理,得到压缩数据,包括:
计算所述时间戳与压缩序列中首个时序数据的时间戳之间的第一差值,计算所述第一差值与所述压缩序列中已写入的最后一条压缩数据的时间戳压缩值之间的第二差值;
计算所述时序数据项的值与首个时序数据中的时序数据项的值的异或运算结果,根据所述异或运算结果匹配预设压缩策略;
基于所述预设压缩策略对所述待存储的时序数据中的时序数据项的值进行无损压缩,将无损压缩结果与所述第二差值的组合作为压缩数据。
5.根据权利要求4所述的方法,其特征在于,所述预设压缩策略包括:
若异或运算结果为0,则确定所述待存储的时序数据中的时序数据项的值的压缩值为0;
若异或运算结果为非0,则根据所述异或运算结果中的每个非0值以及与所述非0值相邻的0的数量确定所述待存储的时序数据中的时序数据项的值的压缩值。
6.根据权利要求3所述的方法,其特征在于,在获取所述待存储的时序数据中的时间戳之后,还包括:
获取所述压缩序列对应的开始时间戳和结尾时间戳,其中,所述开始时间戳为所述压缩序列内已存储的时序数据中最小的时间戳,所述结尾时间戳为所述压缩序列内已存储的时序数据中最大的时间戳;
将所述待存储的时序数据中的时间戳与所述开始时间戳和所述结尾时间戳进行比较,根据比较结果更新所述压缩序列对应的开始时间戳或结尾时间戳。
7.根据权利要求6所述的方法,其特征在于,还包括:
按照设定周期将所述压缩序列中的所述压缩数据导出至设定的压缩数组,以清空所述压缩序列;
将所述压缩序列的所述开始时间戳和结尾时间戳存储至所述压缩数组。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811509734.7/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





