[发明专利]一种时序数据列式存储、查询方法及系统有效

专利信息
申请号: 201711384490.X 申请日: 2017-12-20
公开(公告)号: CN107871022B 公开(公告)日: 2018-12-11
发明(设计)人: 王建民;黄向东;张金瑞;康荣;王晨;龙明盛 申请(专利权)人: 清华大学
主分类号: G06F17/30 分类号: G06F17/30
代理公司: 北京路浩知识产权代理有限公司 11002 代理人: 王莹;吴欢燕
地址: 100084 北京市海*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 时序 数据 存储 查询 方法 系统
【权利要求书】:

1.一种时序数据列式存储方法,其特征在于,包括:

将一列时序数据划分为多个页,每一页存储所述一列时序数据的一部分数据点,所有页中存储的数据点总和为一列时序数据中所有的数据点;

为每一页设置页头和页体两部分,针对每一页,将该页中所有数据点的聚合索引信息存储于该页的页头中,以及将该页中所有数据点的数据值信息存储于该页的页体中;

其中,所述时序数据为同一统一指标按时间顺序记录的数据列,所述时序数据的每一个数据点包括有该数据点的时间戳和具体的数据值。

2.如权利要求1所述的存储方法,其特征在于,每一页的页头中的聚合索引信息包括该页中所有数据点的个数、所有数据点对应的时间戳中的最大值、所有数据点对应的时间戳中的最小值、所有数据点的数据值中的最大值和所有数据点的数据值中的最小值;

每一页的页体中所有数据点的数据信息包括该页所有数据点的时间戳集合和该页的所有数据点的数据值集合。

3.如权利要求2所述的存储方法,其特征在于,所述时间戳集合中的所有时间戳的数据类型一致,所述数据值集合中包括不同数据类型的数据值;所述存储方法还包括:

采用同一种数据编码方式对所述时间戳集合中的所有时间戳进行数据编码;以及,

根据所述数据值集合中的各个数据值的数据类型,采用相应的数据编码方式对各个数据值进行编码。

4.如权利要求1-3任一项所述的存储方法,其特征在于,每个页占用相同的固定存储空间。

5.一种基于权利要求1-4任一项所述的存储方法的查询方法,其特征在于,包括:

读取一列时序数据的一页,根据该页中的聚合索引信息,判断该页中是否存在满足查询过滤条件的数据点;

若不存在,则跳过并读取下一页;若存在,则筛选出该页中满足所述查询过滤条件的所有数据点,加入查询结果集;

遍历所述一列时序数据的所有页,获得最终的查询结果集。

6.如权利要求5所述的查询方法,其特征在于,所述查询过滤条件包括设定的时间戳范围和/或设定的数据值范围,根据该页中的聚合索引信息,判断该页中是否存在满足查询过滤条件的数据点具体包括:

根据每一页的聚合索引信息中所有数据点对应的时间戳中的最大值和所有数据点对应的时间戳中的最小值,判断每一页中所有数据点对应的时间戳范围与设定的时间戳范围是否有重叠部分,以及根据每一页的聚合索引信息中所有数据点的数据值中的最大值和所有数据点的数据值中的最小值,判断每一页中所有数据点对应的数据值范围与设定的数据值范围是否有重叠部分;

若该页中所有数据点对应的时间戳范围与设定的时间戳范围有重叠部分和/或所有数据点对应的数据值范围与设定的数据值范围有重叠部分,则该页中存在满足查询过滤条件的数据点,否则,该页中不存在满足查询过滤条件的数据点。

7.如权利要求5所述的查询方法,其特征在于,所述查询方法还包括:

若该页中存在满足所述查询过滤条件的数据点,则对该页中所有数据点的数据信息进行解码,得到解码后的数据信息,其中,所述数据信息包括该页中所有数据点的时间戳集合和所有数据点的数据值集合。

8.如权利要求7所述的查询方法,其特征在于,所述若存在,则筛选出该页中满足所述查询过滤条件的所有数据点,加入查询结果集具体包括:

根据该页的时间戳集合中每一个数据点的时间戳,判断每一个数据点的时间戳是否在设定的时间戳范围内,以及根据每一页的数据值集合中每一个数据点的数据值,判断每一个数据点的数据值是否在设定的数据值范围内;

筛选出每一页中时间戳在设定的时间戳范围内和/或数据值在设定的数据值范围内的所有数据点,作为该页中满足查询过滤条件的数据点。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201711384490.X/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top