[发明专利]一种哈希表的处理方法

说明书

本发明提供一种哈希表的处理方法，所述哈希表为聚合的可拓展哈希表，包括多个可拓展哈希表，每个可拓展哈希表构成所述聚合的可拓展哈希表的一层，所述可拓展哈希表包括不少于一个的桶，所述桶用于存储键值对数据；所述可拓展哈希表具有相同编号的桶构成所述聚合的可拓展哈希表的一个段；所述聚合的可拓展哈希表包括共享目录，所述共享目录用于管理聚合的可扩展哈希表的全局深度以及段的指针。本发明有效降低了rehash造成的延迟陡增和吞吐骤降，同时保证了哈希表的高性能。

技术领域

本发明涉及持久化哈希技术领域，具体涉及一种哈希表的处理方法。

背景技术

动态哈希表被广泛应用在各种存储系统，尤其是内存数据库中，以实现高效的查询服务。随着新一代非易失性内存(Non-Volatile Memory)的出现，部分研究人员和企业都在探索将哈希表移植到NVM上，以实现非易失性内存数据库。NVM也称作持久化内存(Persistent Memory，简称PM)。NVM拥有远高于DRAM的存储密度，更低的功耗以及持久化的能力。尽管NVM表现出与DRAM相近的写延迟和3到4倍高的读延迟，但其延迟在百纳秒级，远远低于传统的持久化存储，例如固态硬盘，磁盘等。那么，在NVM上构建内存数据库既可以利用NVM的低延迟来提供高效的服务，又可以利用其非易失性来实现数据库的快速恢复，还能够利用NVM的大容量以容纳更多的数据到内存中。而这核心则是构建高效的查询结构，如持久化哈希表。当前大量的研究工作都针对NVM的特性，提出并设计了持久化内存友好的动态哈希结构，例如PFHT^[1]，PATH^[2]，Level Hashing^[3]，CLevel^[4]，CCEH^[5]，Dash^[6]，和P-CLHT^[7]。

目前已有的持久化哈希表设计，往往将精力集中于减少对NVM的访问，以避免因NVM的延迟而导致的性能下降。然而一个关键问题则被忽略了，即动态哈希表需要通过rehash(重新哈希)来扩张容量，而rehash会造成暂时性的尾延迟陡升和吞吐量的骤降。延迟是指一次操作从开始到完成的时间，这些操作包括插入、删除、更新以及查询等。尾延迟用于衡量绝大部分操作可以在多长时间内完成，例如，在获得20000次操作的延迟后，将这些延迟排序，取时间最长的0.1％的操作的延迟，计算其平均值，该平均值即可作为尾延迟指标，即99.9％的操作延迟小于该尾延迟。吞吐量是指单位时间内完成的操作数，单位通常采用MOPS(Million Operations Per Second，百万次操作每秒)。

与静态哈希不同，动态哈希在运行时能够动态调整哈希大小，以实现较高的空间利用率，在无法预估数据规模的情况下，动态哈希是一类适合采用的索引方案。然而，动态哈希往往通过rehash扩增或者缩小容量，而rehash的开销极大。在NVM上，这个问题会因为NVM相对DRAM更高的延迟而恶化。维持较低且稳定的尾延迟对于用户体验是至关重要的，因此设计出对rehash友好的持久化哈希表对存储系统设计人员和用户都是大有裨益的。

目前已经有较多持久化哈希表被提出，但这些哈希表对rehash问题的处理都存在一定的问题。典型的问题如：完全未考虑rehash而导致哈希表在rehash时吞吐近乎归零；设计了复杂的rehash算法但忽略了NVM的物理特性而导致算法效果不佳；以牺牲无rehash时的性能为代价换取rehash时较低的尾延迟和较高的吞吐。

然而对于一个高效的持久化哈希表，其应在不进行rehash时保证低延迟和高吞吐，在进行rehash时则最大限度避免延迟和吞吐的抖动，提供稳定的延迟和吞吐。目前已有的持久化哈希表均无法同时实现以上目标。

参考文献：