[发明专利]动态存储键值对的布鲁姆过滤器树结构及键值对存储方法

说明书

本发明公开了一种动态存储键值对的布鲁姆过滤器树结构及键值对存储方法，布鲁姆过滤器树结构包括完全d叉树；其特征在于，每一棵完全d叉树的每一个节点都是一个布鲁姆过滤器；每一棵完全d叉树的每个叶子节点表示一个值value；每一个节点的存储单元大小是该节点的父节点的存储单元大小的一半，根节点包括d×k个不相同的哈希函数，即根节点包括d个哈希组，每组中包含k个哈希函数。本发明在数据库交互查询、高速网络中资源定位、计算机网络监控等产生大量数据、需要进行键值对查询的应用领域，可以大大减少集合查询的时间，降低资源消耗，处理动态到达的数据，适应网络环境。

技术领域

本发明涉及计算机网络领域和计算机系统存储领域，特别是高性能、高吞吐量的交互查询的应用领域，具体是一种可扩展的布鲁姆树对于键值对的存储结构及方法。

背景技术

近年来，随着计算机的飞速发展，数据库，网络和其他应用中的集合规模呈几何增长。存储和查询键值对(key，value)是计算机系统中常见的任务，这就需要设计对应的键值对存储数据结构，支持快速的键值对查询。键值对操作经常出现在网络和存储系统中，如key-value数据库MongoDB，CouchDB。每个放入到键值对存储系统中的唯一键key都对应一个value，例如(3，5)是一个键key为3，值value为5的键值对，将(3，5)存储到键值对存储系统后，可以通过查询键(key)为3，得到值(value)为5。

设计高效的键值对存储及查询结构带来了巨大的挑战。在一个2层交换机中，一个MAC地址关联一个唯一的端口。当要转发一帧时，搜索引擎会查询这一帧要转发的目的地址的MAC表，因此，将一个MAC地址映射到一个端口的问题就转换成了一个键值对查询问题，这个时候，MAC地址就被看成了key，而要查询的端口号就变成了value。由于MAC地址是持续添加到列表中的，因此，元素的大小是未知的。如果采用cell的结构来存储这些键值对，需要消耗大量的空间，而且在查找对应key的value时会消耗大量的时间；如果采用静态的布鲁姆过滤器结构存储键值对，只能处理静态数据，这在实际应用中很不现实。因此，在高速的计算机网络中，如何高效存储这些信息，快速查询对应的键值对成为挑战。

布鲁姆过滤器(Bloom Filter)是一种空间节俭、查询高效的数据结构，它可以满足现如今生活中高效资源交互需求及查找需求，能够有效的表示数据集合。布鲁姆过滤器自1970年由B.Bloom提出以来，就被广泛应用于各种各样的计算机系统之中，用来表示庞大的数据集合，提高查询效率。布鲁姆过滤器结构实质是将集合中元素通过k个哈希函数映射到位向量中。布鲁姆过滤器在达到其高效表示集合的同时，进行元素查询时却存在一定的假阳性(某元素不属于集合而误判为属于集合中)误判率，而不存在假阴性(某元素属于集合而误判为不属于集合中)误判，在查询和存储上有较高的效率。

但是传统的布鲁姆过滤器仅仅只能支持元素是否存在于集合的从属查询。如果元素为key，那么只能支持key是否存在于集合的从属查询，而无法支持(key,value)操作。因为布鲁姆过滤器无法直接存储value，因此并不能使用传统的布鲁姆过滤器对键值对进行操作。要使得布鲁姆过滤器支持键值对的基本操作，必须要改进传统的布鲁姆过滤器，设计新的布鲁姆过滤器结构。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种动态存储键值对的布鲁姆过滤器树结构及键值对存储方法。

为解决上述技术问题，本发明所采用的技术方案是：一种动态存储键值对的布鲁姆过滤器树结构，包括完全d叉树；每一棵完全d叉树的每一个节点都是一个布鲁姆过滤器；每一棵完全d叉树的每个叶子节点表示一个值value；每一个节点的存储单元大小是该节点的父节点的存储单元大小的一半，根节点包括d×k个不相同的哈希函数，即根节点包括d个哈希组，每组中包含k个哈希函数。

相应地，本发明还提供了一种布鲁姆过滤器树结构进行键值对存储的方法，其包括：