[发明专利]基于时间旅行和时态聚合查询的分布式处理框架系统有效
| 申请号: | 201810494066.9 | 申请日: | 2018-05-22 |
| 公开(公告)号: | CN108804556B | 公开(公告)日: | 2020-10-20 |
| 发明(设计)人: | 姚斌;过敏意;张伟;唐飞龙;陈全;冷静文 | 申请(专利权)人: | 上海交通大学 |
| 主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2458;G06F16/27 |
| 代理公司: | 上海市汇业律师事务所 31325 | 代理人: | 唐嘉伟 |
| 地址: | 200240 *** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 时间 旅行 时态 聚合 查询 分布式 处理 框架 系统 | ||
1.一种基于时间旅行和时态聚合查询的分布式处理框架系统,其特征在于,包括分区单元、局部索引单元和全局索引单元;所述分区单元负责将所有数据分区到分布式节点;所述局部索引单元用于管理每个分区中的时态数据;所述全局索引单元用于管理分区间隔;所述局部索引单元,采用多版本B树MVB-Tree索引结构来支持时间旅行查询,采用SB-Tree索引结构来支持时态聚合查询;所述多版本B树MVB-Tree索引结构在每次对数据库进行更新时生成一个新版本,从而一致性得记录数据库的更新记录,因此能查询数据库的历史版本;所述SB-Tree索引结构是一种支持时态数据聚集查询的索引结构,通过在索引内预计算聚集值,避免在查询时遍历所有数据记录,提高查询速度。
2.如权利要求1所述的系统,其特征在于,所述分区单元负责将所有数据分区到分布式节点,该分布式节点包括主节点和从节点,其中主节点负责分布式集群的资源调度和管理,从节点负责执行由主结点分配的任务;保证每个节点具有大致相同的数据大小,以保持负载平衡。
3.如权利要求1或2所述的系统,其特征在于,所述局部索引单元,在每个分区中,维护局部索引以避免完整扫描;每个分区为全局索引的构建维护一个分区间隔,该分区间隔由一个分区中所有记录中时间间隔开始值的最小值和结束值的最大值组成。
4.如权利要求3所述的系统,其特征在于,所述全局索引单元中,主节点收集从节点中每个分区的所有分区间隔,然后根据收集的分区间隔构建全局索引。
5.如权利要求1所述的系统,其特征在于,所述分区单元采用如下分区方法:按时间间隔分割时间数据,包括如下步骤:
首先按时间间隔对时态记录进行排序,获得排序记录;将排序后的记录平均分成几个部分,即完成分区。
6.如权利要求1所述的系统,其特征在于,所述全局索引单元,在主节点中,全局索引被设计为预先修剪查询不会涉及到的分区,以避免检查每个分区。
7.如权利要求1所述的系统,其特征在于,所述每个分区间隔能通过起始值和间隔长度进行比较,使用二叉搜索树来维护分区的间隔信息;只对分区使用一个分区间隔;全局索引中的每个分区间隔对应于从节点中的分区,在查询处理中,如果一个分区间隔可以被修剪,则可以安全地修剪相应的分区;全局索引中的每个节点都维护一个键值对Ip, id,其中Ip和id分别指分区间隔及其相应的分区。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海交通大学,未经上海交通大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810494066.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:协议展示方法、装置和电子设备
- 下一篇:医学期刊论文推荐方法及系统





