[发明专利]一种基于Redis集群的分布式动态杜鹃过滤系统及其过滤方法

说明书

本发明提供一种基于Redis集群的分布式动态杜鹃过滤系统及其过滤方法，系统包括：Redis客户端、基于Redis集群的DDCF（Distributed Dynamic Cuckoo Filter）系统中心模块和多个基于Redis集群子节点的DDCF系统子节点；所述DDCF系统子节点包括Redis集群子节点及一个DCF；本发明还提供了一种基于Redis集群的分布式动态杜鹃过滤系统的使用方法，包括数据的插入、查询和删除方法，本发明利用一种高效的数据结构DCF与Redis集群的分布式特性结合大大提高Redis集群中海量数据的检索性能，并显著降低内存开销，大大改善了存储空间的利用效率。

技术领域

本发明涉及一种分布式动态杜鹃过滤系统，该系统可用于实现大规模、分布式的高性能海量数据管理平台，提高其数据检索性能，并显著降低内存开销，具体是一种基于Redis集群的分布式动态杜鹃过滤系统，属于数据库技术领域。

背景技术

Redis是一个开源的key-value存储系统，由于其出众的性能，大部分互联网企业都用它来做服务器端缓存。Redis在3.0版本前只支持单实例模式，虽然支持主从模式、哨兵模式部署来解决单点故障，但是面对云时代下的海量数据，完全无法满足业务的需求，因此，Redis在3.0版本以后就推出了集群模式。

Redis集群采用了P2P的模式，完全去中心化。Redis把所有的Key分成了16384个slot，每个Redis实例负责其中一部分slot。集群中的所有信息(节点、端口、slot等)，都通过节点之间定期的数据交换而更新。Redis客户端可以在任意一个Redis实例发出请求，如果所需数据不在该实例中，通过重定向命令引导客户端访问所需的实例。

在面对分布式数据库如上述Redis集群中的海量数据时，我们需要一个索引数据结构，用来帮助查询，快速判断数据记录是否存在，这类数据结构叫过滤器，现在常用的选择是Bloom Filter(简称BF)，然而原始的Bloom Filter无法在不重建的情况下删除数据，即使通过改进，仍然会造成空间开销过大的问题，例如Counting Bloom Filter。在此基础之上，由Cuckoo哈希表引申出的一个紧凑型变体Cuckoo Filter(简称CF)通过存储指纹信息弥补了Bloom Filter的缺陷，支持动态添加和删除数据，能够提供更好的数据查找性能，并且当假阳性概率小于3％时，相应的空间开销更小。但因为在面对未知大小的数据时无法支持容量伸缩使得其应用场景受到极大限制。在现有技术中，基于Dynamic Bloom Filter的Dynamic Cuckoo Filter(简称DCF)，通过动态分配相同的CF并且以链表的形式连接来伸缩容量，从而满足数据大小动态变化的需求。

然而，上述的多种过滤器及其变体都是在现实技术中大都以单机形式存在，显然，在数据量极大的Redis集群中，单一节点的DCF已经无法满足我们的数据检索需求，因此期望提供一种兼顾时间空间效率并能够对Redis集群中海量数据进行高效检索的方案。

发明内容

本发明的目的是提供一种克服上述问题或者至少部分地解决上述问题的方法。相对于传统的数据过滤器方案，本发明结合分布式存储系统和高效动态过滤器的特性，能够兼顾面对动态规模数据时的时间空间效率，大大提高海量数据的检索性能。

为了实现上述技术目的，本发明采用如下具体技术方案：

一种基于Redis集群的分布式动态杜鹃过滤系统，包括：

Redis客户端、基于Redis集群的DDCF系统中心模块以及多个基于Redis集群子节点的DDCF系统子节点；其中，

所述DDCF系统子节点包括Redis集群子节点及一个DCF；该DCF初始状态下只有一个CF并且当前CF指针curCF指向该CF，nextCF指针指向下一个CF；