[发明专利]一种结构紧凑的键值对存储结构及快速键值对查找方法

说明书

本发明涉及一种结构紧凑的键值对存储结构及快速键值对查找方法，属于实时大数据处理及键值查询技术领域。基于分层哈希表和布鲁姆过滤器相结合的结构，通过首层使用2‑left hashing哈希结构存储，每层哈希表都作为辅助表保存在上层表中发生存储冲突的数据，并结合布鲁姆过滤器进行冲突数据的保存，将“布鲁姆过滤器判断所查找的键是否存在当前集合中的结果”作为索引提高查找速度，从而提高存储空间利用率使结构紧凑并实现快速查找的软件平台要求。本发明可高速有效地解决当前大规模键值对存储和查找时间不确定、查找速度不恒定、软件实现运行速度较慢达不到应用要求等问题。

技术领域

本发明涉及一种结构紧凑的键值对存储结构及快速键值(key-value)对查找方法，特别涉及一种基于多层次哈希表(hash table)和布鲁姆过滤器(bloom filter，BF)的键值对存储和查找方法，属于实时大数据处理及键值查询技术领域。

背景技术

随着互联网规模的日益扩大，网络流量日益增长，计算机技术领域对大数据存储和查找速率的要求越来越高。键值对查找问题在计算机领域的各个方向如大数据处理和高速网络中应用颇广。

然而，键值对查找方法的性能严重受限于硬件资源，因此，在网络功能虚拟化的趋势下，适应软件平台更为重要且更加适应互联网发展。在一个软件平台中会同时处理多种任务，存储和查找方法不能独自占用一整个高速缓存(cache)，因此，该方法要谨慎地控制放入cache中的结构大小，且避免频繁替换。然而，现有方法大多数更适应硬件平台，且在查找速度和cache使用效率方面不够高。

现在已有的键值对查找方法主要分为哈希表查找，树形查找，以及基于布鲁姆过滤器的查找方法。哈希表方法是较为传统的方法，可以通过确定的时间复杂度O(1)执行键值对的插入，删除，查找，但是哈希表的重要缺点是它需要处理哈希冲突，以至于无法每次都在O(1)复杂度完成。因此，单纯使用哈希表进行方法的基础数据结构设计无法满足当前对键值对查找速度的要求，而减少哈希冲突又需要更大的存储空间，从而导致空间利用率较低。

基于布鲁姆过滤器数据结构的方法主要依赖于布鲁姆过滤器结构简单、紧凑的特性。主要方法有多个布鲁姆过滤器组合的方法，布鲁姆过滤器结合数据编码的方法，基于布鲁姆过滤器变形后的数据结构等。这些结构改变了原有布鲁姆过滤器的结构，提升了一定的空间使用率，但是破坏了布鲁姆过滤器原有的简单、紧凑的特性，因此并没有发挥出Bloom filter应有的效果。

本发明涉及一种具有紧凑且快速特点的键值对查找方法，提供了一种结构紧凑的键值对存储结构，提高了传统哈希表方法的空间利用率，通过确定的时间复杂度完成键值对的查找，所提出的结构紧凑的键值对存储结构和快速键值对查找方法主要涉及以下两个问题：

(1)基于多层哈希表设计，使用2-left hashing哈希结构为多层次哈希表的首层，保证结构的紧密和空间的高利用率，同时减少哈希冲突；

(2)通过多层的布鲁姆过滤器存储对应层哈希表中冲突数据，及提供被查找键是否存在当前层冲突数据集的结果作为查找索引，提高查找速度，减少内存访问次数。

发明内容

本发明的目的是为了克服现有方法的键值对存储结构不够紧凑的缺陷以及为了解决当前大规模键值对存储和查找时间不确定性，软件实现运行速度过慢达不到应用要求等问题，满足合理利用高速缓存争取更少地进行数据替换的要求，提出一种结构紧凑的键值对存储结构及快速键值对查找方法。

本发明的思想是基于分层哈希表和布鲁姆过滤器相结合的结构，通过首层使用2-left hashing哈希结构存储，每层哈希表都作为辅助表保存在上层表中发生存储冲突的数据，并结合布鲁姆过滤器进行冲突数据的保存，将“布鲁姆过滤器判断所查找的键是否存在当前集合中的结果”作为索引提高查找速度，从而提高存储空间利用率使结构紧凑并实现快速查找的软件平台要求。一种结构紧凑的键值对存储结构及快速键值对查找方法，包括一种结构紧凑的键值对存储结构及一种快速键值对查找方法；