[发明专利]时序数据的存储、读取方法、装置、电子设备及存储介质在审

专利信息
申请号: 201811509734.7 申请日: 2018-12-11
公开(公告)号: CN111309720A 公开(公告)日: 2020-06-19
发明(设计)人: 张洪斌 申请(专利权)人: 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司
主分类号: G06F16/22 分类号: G06F16/22;G06F16/2458
代理公司: 北京品源专利代理有限公司 11332 代理人: 孟金喆
地址: 100080 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 时序 数据 存储 读取 方法 装置 电子设备 介质
【说明书】:

发明实施例公开了时序数据的存储、读取方法、装置、电子设备及存储介质。该时序数据的存储方法包括获取待存储的时序数据,基于该时序数据的时序数据项确定存储位置标识,其中,该时序数据包含时序数据项、时序数据项的值和时间戳;根据存储位置标识由缓存块集合中确定目标缓存块,根据该时序数据项由目标缓存块中确定对应的存储位置;采用设定压缩算法对时序数据项的值和时间戳进行压缩处理,并将压缩数据存储于存储位置。本发明实施例通过采用上述技术方案,克服了时序数据大量占用设备的存储空间的缺陷,提高了空间利用率;此外,由于缓存的是与时间关联的压缩数据,可以避免发生因多次执行查询指令导致的查询延迟问题,降低了查询延时。

技术领域

本发明实施例涉及数据库技术领域,尤其涉及一种时序数据的存储、读取方法、装置、电子设备及存储介质。

背景技术

随着互联网或者物联网的应用越来越广泛,互联网中的监控系统或者物联网设备等,产生了越来越多的基于时间序列的数据,这些数据被称为时序数据。

相关技术中,通常将数小时之内的热点数据存储在内存中进行缓存。例如通过键值对的方式,以时序数据项为键,对时序数据项的值进行缓存。对于其它需要持久保存的时序数据,则存放在OpenTSDB(Open time series data base,开发时间序列数据库)、Hbase(Hadoop Database,分布式数据库)、InfluxDB(时序性数据库)或者Elasticsearch(非关系型数据库)等数据库中。

在实现本发明过程中,发明人发现相关技术中的数据存储方案至少存在如下问题:第一、对于互联网中的监控系统或者物联网设备,每天大约产生上亿条数据,采用相关技术中的存储方案会大量占用设备的存储空间,提高了数据的存储成本。第二、采用键值对的方式存储时序数据,在进行数据查询时,每次执行查询指令返回一条记录。而实际场景中,用户关注的通常是一段时间内的多条记录,就需要执行多次查询指令,从而,导致查询延时较高。

发明内容

本发明实施例提供一种时序数据的存储、读取方法、装置、电子设备及存储介质,可以降低时序数据占用的存储空间,提高查询效率。

第一方面,本发明实施例提供了一种时序数据的存储方法,包括:

获取待存储的时序数据,基于所述时序数据的时序数据项确定存储位置标识,其中,所述时序数据包含所述时序数据项、时序数据项的值和时间戳;

根据所述存储位置标识由缓存块集合中确定目标缓存块,根据所述时序数据项由所述目标缓存块中确定对应的存储位置;

采用设定压缩算法对所述时序数据项的值和所述时间戳进行压缩处理,并将压缩数据存储于所述存储位置。

第二方面,本发明实施例还提供了一种时序数据的读取方法,包括:

获取时序数据项和目标时间的时间戳,基于所述时序数据项确定待读取的时序数据的存储位置标识;

根据所述存储位置标识由缓存块集合中确定目标缓存块,根据所述时序数据项由所述目标缓存块中确定对应的存储位置;

根据所述目标时间的时间戳由所述存储位置读取压缩数据;

采用设定解压缩算法对所述压缩数据进行解压得到待读取的时序数据。

第三方面,本发明实施例还提供了一种时序数据的存储装置,该装置包括:

存储位置标识确定模块,用于获取待存储的时序数据,基于所述时序数据的时序数据项确定存储位置标识,其中,所述时序数据包含所述时序数据项、时序数据项的值和时间戳;

存储位置确定模块,用于根据所述存储位置标识由缓存块集合中确定目标缓存块,根据所述时序数据项由所述目标缓存块中确定对应的存储位置;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201811509734.7/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top