[发明专利]一种时序数据列式存储、查询方法及系统有效
申请号: | 201711384490.X | 申请日: | 2017-12-20 |
公开(公告)号: | CN107871022B | 公开(公告)日: | 2018-12-11 |
发明(设计)人: | 王建民;黄向东;张金瑞;康荣;王晨;龙明盛 | 申请(专利权)人: | 清华大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 王莹;吴欢燕 |
地址: | 100084 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 时序 数据 存储 查询 方法 系统 | ||
1.一种时序数据列式存储方法,其特征在于,包括:
将一列时序数据划分为多个页,每一页存储所述一列时序数据的一部分数据点,所有页中存储的数据点总和为一列时序数据中所有的数据点;
为每一页设置页头和页体两部分,针对每一页,将该页中所有数据点的聚合索引信息存储于该页的页头中,以及将该页中所有数据点的数据值信息存储于该页的页体中;
其中,所述时序数据为同一统一指标按时间顺序记录的数据列,所述时序数据的每一个数据点包括有该数据点的时间戳和具体的数据值。
2.如权利要求1所述的存储方法,其特征在于,每一页的页头中的聚合索引信息包括该页中所有数据点的个数、所有数据点对应的时间戳中的最大值、所有数据点对应的时间戳中的最小值、所有数据点的数据值中的最大值和所有数据点的数据值中的最小值;
每一页的页体中所有数据点的数据信息包括该页所有数据点的时间戳集合和该页的所有数据点的数据值集合。
3.如权利要求2所述的存储方法,其特征在于,所述时间戳集合中的所有时间戳的数据类型一致,所述数据值集合中包括不同数据类型的数据值;所述存储方法还包括:
采用同一种数据编码方式对所述时间戳集合中的所有时间戳进行数据编码;以及,
根据所述数据值集合中的各个数据值的数据类型,采用相应的数据编码方式对各个数据值进行编码。
4.如权利要求1-3任一项所述的存储方法,其特征在于,每个页占用相同的固定存储空间。
5.一种基于权利要求1-4任一项所述的存储方法的查询方法,其特征在于,包括:
读取一列时序数据的一页,根据该页中的聚合索引信息,判断该页中是否存在满足查询过滤条件的数据点;
若不存在,则跳过并读取下一页;若存在,则筛选出该页中满足所述查询过滤条件的所有数据点,加入查询结果集;
遍历所述一列时序数据的所有页,获得最终的查询结果集。
6.如权利要求5所述的查询方法,其特征在于,所述查询过滤条件包括设定的时间戳范围和/或设定的数据值范围,根据该页中的聚合索引信息,判断该页中是否存在满足查询过滤条件的数据点具体包括:
根据每一页的聚合索引信息中所有数据点对应的时间戳中的最大值和所有数据点对应的时间戳中的最小值,判断每一页中所有数据点对应的时间戳范围与设定的时间戳范围是否有重叠部分,以及根据每一页的聚合索引信息中所有数据点的数据值中的最大值和所有数据点的数据值中的最小值,判断每一页中所有数据点对应的数据值范围与设定的数据值范围是否有重叠部分;
若该页中所有数据点对应的时间戳范围与设定的时间戳范围有重叠部分和/或所有数据点对应的数据值范围与设定的数据值范围有重叠部分,则该页中存在满足查询过滤条件的数据点,否则,该页中不存在满足查询过滤条件的数据点。
7.如权利要求5所述的查询方法,其特征在于,所述查询方法还包括:
若该页中存在满足所述查询过滤条件的数据点,则对该页中所有数据点的数据信息进行解码,得到解码后的数据信息,其中,所述数据信息包括该页中所有数据点的时间戳集合和所有数据点的数据值集合。
8.如权利要求7所述的查询方法,其特征在于,所述若存在,则筛选出该页中满足所述查询过滤条件的所有数据点,加入查询结果集具体包括:
根据该页的时间戳集合中每一个数据点的时间戳,判断每一个数据点的时间戳是否在设定的时间戳范围内,以及根据每一页的数据值集合中每一个数据点的数据值,判断每一个数据点的数据值是否在设定的数据值范围内;
筛选出每一页中时间戳在设定的时间戳范围内和/或数据值在设定的数据值范围内的所有数据点,作为该页中满足查询过滤条件的数据点。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711384490.X/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置