[发明专利]一致性布谷过滤器的操作方法

说明书

本发明提供了数据结构领域的索引独立布谷过滤器、一致性布谷过滤器及操作方法。索引独立布谷过滤器包括多个桶，每个桶有b个槽位，多个桶被映射到一个范围从1到M‑1的一致性哈希环中。一致性布谷过滤器，包括s个异构的索引独立布谷过滤器，每个索引独立布谷过滤器有m_i≥1个桶，每个桶有b_i≥1个槽位，其中，s≥1，初始为1，i∈[0,s‑1]。本发明还从插入、查询、删除元素介绍了一致性布谷过滤器的操作方法，以及一致性布谷过滤器的容量调整问题。本发明在容量弹性、空间效率以及设计伸缩性方面都有着良好的表现。

技术领域

本发明属于网络应用数据结构领域，具体是涉及到一种一致性布谷过滤器的操作方法。

背景技术

在数据库、缓存、路由器、存储和网络应用中，集合表示同时支持成员关系查询是一个基本的问题。这些系统通常采用概率型数据结构来表示集合元素，在很小的假阳性比率下支持常数时间成员查询操作。用于成员查询广泛使用的概率型数据结构有布隆过滤器，布谷过滤器以及它们的变种。布隆过滤器和布谷过滤器用不同的方式表示元素。布隆过滤器是一个固定长度的初始比特为0的数组。为了插入一个元素，k个独立的哈希函数用于将元素映射到比特向量，然后相应的比特会被置1。当检测任意元素x的成员关系时，布隆过滤器只检查k个相应的比特位是否为0。如果都是1，布隆过滤器得出x是集合成员(可能隐含一个假阳性元素)；否则，可以正确的得出x不是集合成员(无假阴性)。和布隆过滤器不同，布谷过滤器在桶中直接存储元素指纹。布谷过滤器通过部分布谷哈希得出元素的两个候选桶，将指纹存入其中之一。如果元素的指纹在任意一个候选桶中找到，则认为元素是集合成员。然而布谷过滤器和布隆过滤器因为不能重新设置容量大小不能处理动态集合成员。为此，动态布隆过滤器(DBF)和动态布谷过滤器(DCF)已经被提出。DBF和DCF尝试根据需求增加和合并同构的布隆过滤器和布谷过滤器来实现容量的伸缩性。在DBF和DCF中，每个过滤器的长度都是预置的，因为格或桶的索引是基于过滤器的长度取余得到，所以过滤器的长度不能改变。只能通过增加和合并同构的过滤器来调整容量。在最坏的情况下，因为一个额外的元素需要一个过滤器，导致空间利用率低于50％的结果。因此，在空间稀缺的场景下，桶级别的容量调整对于节省空间是必要的。而且，DBF主要的缺陷在于由于可能有多个布隆过滤器满足查询条件，不能支持可靠的删除操作。尽管DCF保证可靠的元素删除，利用异或操作在重新放置时得到第二个候选桶。所以，每个布谷过滤器的长度只能是m＝2^γ(γ≥0)。否则，异或操作会超出范围。

用于动态集合表示的概率型数据结构主要关注以下三个准则：容量弹性(CE)。数据结构的容量是依据集合基数来适应性调整的。尽管要表示的元素数量不可预测，但是可用容量大小要适应性的随着集合基数趋势变化一致调整；空间效率(SE)。无论集合基数的变化如何，空间利用率都保持在较高水平。这对空间稀缺的场景十分重要，例如：无线传感器网络。设计伸缩性(DF)。所有的参数都是可调整的，用户可以根据设计目标定制自身的配置。例如：哈希函数的数量可能为了更高的空间利用而增加，为了更好的查询吞吐而减少。如果这些准则可以实现，将会给集合表示和成员关系查询带来前所未有的好处，保证空间节省和服务质量。设计伸缩性进一步将数据结构扩展到更多有不同需求的一般场景。

然而，现有的概率数据结构不能正确的同时实现上述三条准则。布隆过滤器和DBF有低的空间使用率。原因是为了最小的假阳性比率，保持一半的比特位为0。相反，布谷过滤器和它的变种通过在每次插入中的重放置策略提高了空间利用率。DBF和DCF通过动态增加和合并过滤器在一定程度上提供了容量弹性。然而，在现实中，需要更加细粒度的容量伸缩来处理小规模的容量溢出和在一些元素被删除时及时的空间回收。而且，现有的数据结构被设计可伸缩性限制。在布隆过滤器器得框架中，为了目标假阳性比率，参数需要细致的设置。同时，布隆过滤器的现有协议必须使用固定数量的哈希函数和2的幂次方桶数。现有数据结构在实现上述三条准则不足的共同原因是它们都维持了元素的格或桶的索引与过滤器长度之间紧密的依赖。结果它们的容量不管动态集合的变化，必须是预置的和不可修改的。

发明内容