[发明专利]时序数据的存储、读取方法、装置、电子设备及存储介质在审
申请号: | 201811509734.7 | 申请日: | 2018-12-11 |
公开(公告)号: | CN111309720A | 公开(公告)日: | 2020-06-19 |
发明(设计)人: | 张洪斌 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2458 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 100080 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 时序 数据 存储 读取 方法 装置 电子设备 介质 | ||
本发明实施例公开了时序数据的存储、读取方法、装置、电子设备及存储介质。该时序数据的存储方法包括获取待存储的时序数据,基于该时序数据的时序数据项确定存储位置标识,其中,该时序数据包含时序数据项、时序数据项的值和时间戳;根据存储位置标识由缓存块集合中确定目标缓存块,根据该时序数据项由目标缓存块中确定对应的存储位置;采用设定压缩算法对时序数据项的值和时间戳进行压缩处理,并将压缩数据存储于存储位置。本发明实施例通过采用上述技术方案,克服了时序数据大量占用设备的存储空间的缺陷,提高了空间利用率;此外,由于缓存的是与时间关联的压缩数据,可以避免发生因多次执行查询指令导致的查询延迟问题,降低了查询延时。
技术领域
本发明实施例涉及数据库技术领域,尤其涉及一种时序数据的存储、读取方法、装置、电子设备及存储介质。
背景技术
随着互联网或者物联网的应用越来越广泛,互联网中的监控系统或者物联网设备等,产生了越来越多的基于时间序列的数据,这些数据被称为时序数据。
相关技术中,通常将数小时之内的热点数据存储在内存中进行缓存。例如通过键值对的方式,以时序数据项为键,对时序数据项的值进行缓存。对于其它需要持久保存的时序数据,则存放在OpenTSDB(Open time series data base,开发时间序列数据库)、Hbase(Hadoop Database,分布式数据库)、InfluxDB(时序性数据库)或者Elasticsearch(非关系型数据库)等数据库中。
在实现本发明过程中,发明人发现相关技术中的数据存储方案至少存在如下问题:第一、对于互联网中的监控系统或者物联网设备,每天大约产生上亿条数据,采用相关技术中的存储方案会大量占用设备的存储空间,提高了数据的存储成本。第二、采用键值对的方式存储时序数据,在进行数据查询时,每次执行查询指令返回一条记录。而实际场景中,用户关注的通常是一段时间内的多条记录,就需要执行多次查询指令,从而,导致查询延时较高。
发明内容
本发明实施例提供一种时序数据的存储、读取方法、装置、电子设备及存储介质,可以降低时序数据占用的存储空间,提高查询效率。
第一方面,本发明实施例提供了一种时序数据的存储方法,包括:
获取待存储的时序数据,基于所述时序数据的时序数据项确定存储位置标识,其中,所述时序数据包含所述时序数据项、时序数据项的值和时间戳;
根据所述存储位置标识由缓存块集合中确定目标缓存块,根据所述时序数据项由所述目标缓存块中确定对应的存储位置;
采用设定压缩算法对所述时序数据项的值和所述时间戳进行压缩处理,并将压缩数据存储于所述存储位置。
第二方面,本发明实施例还提供了一种时序数据的读取方法,包括:
获取时序数据项和目标时间的时间戳,基于所述时序数据项确定待读取的时序数据的存储位置标识;
根据所述存储位置标识由缓存块集合中确定目标缓存块,根据所述时序数据项由所述目标缓存块中确定对应的存储位置;
根据所述目标时间的时间戳由所述存储位置读取压缩数据;
采用设定解压缩算法对所述压缩数据进行解压得到待读取的时序数据。
第三方面,本发明实施例还提供了一种时序数据的存储装置,该装置包括:
存储位置标识确定模块,用于获取待存储的时序数据,基于所述时序数据的时序数据项确定存储位置标识,其中,所述时序数据包含所述时序数据项、时序数据项的值和时间戳;
存储位置确定模块,用于根据所述存储位置标识由缓存块集合中确定目标缓存块,根据所述时序数据项由所述目标缓存块中确定对应的存储位置;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811509734.7/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置