[发明专利]支持分级存储设置中多个一次性表访问操作的方法和装置

说明书

技术领域

本发明涉及访问被称为表的数据项的集合。更具体地，本发明支持要求这种表中的每一项最多被访问一次的多个并行操作。假设存储器分级包括至少两层：连接到快速存储器(例如，RAM)的慢速存储器(例如，磁盘)。

背景技术

已经将不同的技术用于增加各种工作负荷的高速缓存区。最老的并且最基本的算法之一是LRU(最近最少使用，least recently used)，其从最长时间未被访问过的高速缓存逐出页面。由于其小开销以及自由调节操作，LRU是当前很多数据库系统中选择的策略。此后已使用了LRU的很多变体。例子有LRU-K[E.J.O’Neil，P.E.O’Neil，and G.Weikum，“TheLRU-K Page Replacement Algorithm For Database Disk Buffering，”Proc.ACM SIGMOD Int.Conf.on Management of Data，pages 297-306，1993](其逐出这样的页面，即该页面的第K个最近的访问在过去是距离最久的)，2Q[T.Johnson and D.Shasha，“2Q：A Low Overhead HighPerformance Buffer Management Replacement Algorithm，”Proc.Int.Conf.on Very La rge Data Bases，pages 439-450，1994](其将LRU-K的对数开销降低到恒定开销)，LFU[J.Robinson and M.Devarakonda，“DataCache Management Using Frequency-Based Replacement，”Proc.ACMSIGMETRICS Conf.，pages 134-142，1990](其逐出以最小频率被访问的页面)，以及混合式的，例如LRFU[D.Lee，J.Choi，J.-H.Kim，S.H.Noh，S.L.Min，Y.Cho，and C.S.Kim，LRFU：A Spectrum Of Policies ThatSubsumes The Least Recently Used And Least Frequently Used Policies，IEEE Trans.Computers，50(12)：1352-1360，2001](结合LRU和LFU)和ARC[N.Megiddo and D.Modha，“Outperforming LRU With AnAdaptive Replacement Cache，”2004](其可以在不同的逐出策略之间自适应的切换)。[L.Belady，“A study of replacement algorithms for virtualstorage computers”IBM Systems Journal，5(2)：78-101，1996]针对高速缓存替换问题给出了一种最优的脱机算法MIN，其逐出将来最久远地被访问的页面。所有的这些技术都(1)假设工作负荷是由对具体页面的请求组成的，并且(2)非常普遍(即适用于任何这样的工作负荷)。

存在采用有关工作负荷的知识来改善高速缓存的系统。[例如，G.M.Sacco and M.Schkolnick，“A Mechanism For Managing The Buffer PoolIn A Relational Database System Using The Hot Set Model，”Proc.Int.Conf.on Very Large Data Bases，pages 257-262，1982]使用该知识导出查询执行期间页面的“热集(hot set)”。然后这可以用于以灵活的方式调度查询以防止不必要的页面交换。Chou和DeWitt[H.Chou and D.DeWitt，“An Evaluation Of Buffer Management Strategies For Relational DatabaseSystems，”Proc.Int.Conf.on Very Large Data Bases，pages 127-141，1985]通过使用多个页面缓冲器改善了这一技术，每个缓冲器基于访问类型(表扫描、索引访问等)具有其自己的逐出策略。这两种技术都可以降低高速缓存的遗漏量。然而，我们认为通过向高速缓存提供附加的自由度，即接下来要加载哪页或哪块，甚至可以进一步改善性能。