[发明专利]基于时间旅行和时态聚合查询的分布式处理框架系统

说明书

本发明公开了一种基于时间旅行和时态聚合查询的分布式处理框架系统，包括分区单元、局部索引单元和全局索引单元；所述分区单元负责将所有数据分区到分布式节点；所述局部索引单元用于管理每个分区中的时态数据；所述全局索引单元用于管理分区间隔。本发明为时态大数据提出了一个分布式内存分析框架，该框架易于理解和实施，但不会损失效率，能满足高吞吐量和低延迟的需求。

技术领域

本发明属于计算机领域，具体涉及时态数据的查询系统，尤其涉及一种基于时间旅行和时态聚合查询的分布式处理框架系统。

背景技术

对时态数据的管理已经研究了数十年，并且由于其广泛的应用，近来已经越来越受到关注[参见：M.Gupta,J.Gao,C.C.Aggarwal,J.Han:Outlier Detection for TemporalData:A Survey.In TKDE,2014；F.Li,K.Yi,W.Le:Top-k queries on temporal data.InVLDBJ,2010]。例如，用户可能希望在特定时间(例如，5年前)调查行政区域(例如加利福尼亚州)的人口统计信息。查询数据库的历史版本(如上所述)通常称为时间旅行[R.Elmasri,G.T.Wuu,and Y.J.Kim.The Time Index:An Access Structure for Temporal Data.InVLDB,1990；B.Becker,S.Gschwind,T.Ohler,B.Seeger,B.Widmayer:An asymptoticallyoptimal multiversion B-tree.In VLDBJ,1996；D.Lomet et al.Transaction TimeSupport Inside a Database Engine.In ICDE,2006]。另外一个例子，在质量保证部门，用户可能希望分析随着时间的变化有多少订单被延迟，从而在特定时间段内查询数据库的所有历史版本。像上面提到的查询通常被称为时态聚合[K.Cheng:On Computing TemporalAggregates over Null Time Intervals.In DEXA 2017；M.Kaufmann,P.M.Fischer,N.May,C.Ge,A.K.Goel,D.Kossmann:Bi-temporal Timeline Index:A data structurefor Processing Queries on bi-temporal data.In ICDE,2015；M.Kaufmann,A.A.Manjili,P.Vagenas,P.M.Fischer,D.Kossmann,F.F·arber,N.May:Timeline index:A unied data structure for processing queries on temporal data in SAP HANA.InSIGMOD,2013]。