[发明专利]一种基于Redis集群的分布式动态杜鹃过滤系统及其过滤方法

权利要求书

1.一种基于Redis集群的分布式动态杜鹃过滤系统，其特征在于，包括：

Redis客户端、基于Redis集群的DDCF系统中心模块以及多个基于Redis集群子节点的DDCF系统子节点；其中，

所述DDCF系统子节点包括Redis集群子节点及一个DCF；该DCF初始状态下只有一个CF并且当前CF指针curCF指向该CF，nextCF指针指向下一个CF；

多个DDCF系统子节点分布在一个具有2^32个均匀布点的圆环上；所述基于Redis集群的DDCF系统中心模块独立于圆环之外，用于完成系统的初始化、数据的接收到存储节点的映射以及子节点的全局管理；

所述DDCF系统子节点包括数据信息计算模块、数据操作模块以及结果反馈模块；其中，

所述数据信息计算模块用于利用系统管理模块发送的三元组中的信息计算数据的指纹信息和bucket候选位置信息并将其提供给数据操作模块；

所述数据操作模块根据Redis客户端发出命令需求进行相应的数据插入、数据查询或数据删除操作，并将操作结果提供给结果反馈模块；

结果反馈模块用于将数据操作结果反馈给Redis客户端；

包括以下几个步骤：

步骤1：利用一致性哈希算法搭建Redis集群，为真实节点设置多个虚拟节点并将其排布到一个具有2^32个均匀布点的圆环上，同时记录虚拟节点与真实节点对应的哈希记录表；

步骤2：在Redis集群各子节点上添加一个DCF并初始化，将哈希记录表反馈给系统管理模块；

步骤3：数据接收模块接收Redis客户端输入的数据及指令；

步骤4：存储节点选择模块计算Redis客户端输入数据的键信息的哈希值，哈希值-子节点的映射关系与搭建Redis集群所采用的哈希值-圆环节点位置的映射关系相同，并根据该映射关系选择相应子节点，然后构造数据、哈希值、操作类型的三元组交由系统管理模块发送至相应子节点；

步骤5：子节点利用系统管理模块发送的三元组中的构造数据、哈希值、操作类型计算数据的指纹信息f和bucket候选位置信息i1,i2；

步骤6：在子节点中根据数据的指纹信息f、bucket候选位置信息i1,i2以及Redis客户端发送的操作命令进行相应的数据操作，数据操作包含数据插入、查询、删除方法，并将操作结果提供给结果反馈模块；结果反馈模块将数据操作结果反馈给Redis客户端。

2.如权利要求1所述的一种基于Redis集群的分布式动态杜鹃过滤系统，其特征在于，所述基于Redis集群的DDCF系统中心模块包括系统初始化模块、系统管理模块、数据接收模块、存储节点选择模块以及节点故障检测模块；

所述系统初始化模块，用于利用一致性哈希算法部署Redis集群，并在各真实节点上附加一个DCF；

所述数据接收模块，用于接收来自Redis客户端传入的数据及指令并将其提供给存储节点选择模块；

所述存储节点选择模块，用于计算传入数据的键信息的哈希值，并根据该哈希值和传入指令选择相应子节点构造数据、哈希值、操作类型的三元组交由系统管理模块发送至相应子节点；

系统管理模块，用于完成子节点的数据分配，同时，该模块还负责子节点的全局管理；

所述节点故障检测模块，用于定期检测子节点的运行状态，若节点出现故障则通知系统管理模块进行节点更换及数据转移；节点故障检测模块依赖于Redis集群自身的故障检测功能：集群搭建时，节点会进行握手通信，之后每个节点都会定期发送PING/PONG命令来进行故障检测。

3.如权利要求1所述的基于Redis集群的分布式动态杜鹃过滤系统的过滤方法，其特征在于，所述步骤5中的指纹信息f和bucket候选位置信息i1,i2具体通过以下公式得到：

f = fingerprint(x)；

i1 = hash(x)；

i2 = i1⊕hash(f)；

其中，x表示三元组中的构造数据、哈希值、操作类型计算数据。