[发明专利]一种基于Redis集群的分布式动态杜鹃过滤系统及其过滤方法

摘要

本发明提供一种基于Redis集群的分布式动态杜鹃过滤系统及其过滤方法，系统包括：Redis客户端、基于Redis集群的DDCF（Distributed Dynamic Cuckoo Filter）系统中心模块和多个基于Redis集群子节点的DDCF系统子节点；所述DDCF系统子节点包括Redis集群子节点及一个DCF；本发明还提供了一种基于Redis集群的分布式动态杜鹃过滤系统的使用方法，包括数据的插入、查询和删除方法，本发明利用一种高效的数据结构DCF与Redis集群的分布式特性结合大大提高Redis集群中海量数据的检索性能，并显著降低内存开销，大大改善了存储空间的利用效率。

主权项

一种基于Redis集群的分布式动态杜鹃过滤系统，其特征在于，包括：Redis客户端、基于Redis集群的DDCF系统中心模块以及多个基于Redis集群子节点的DDCF系统子节点；其中，所述DDCF系统子节点包括Redis集群子节点及一个DCF；该DCF初始状态下只有一个CF并且当前CF指针curCF指向该CF，nextCF指针指向下一个CF；多个DDCF系统子节点分布在一个具有2^32个均匀布点的圆环上；所述基于Redis集群的DDCF系统中心模块独立于圆环之外，用于完成系统的初始化、数据的接收到存储节点的映射以及子节点的全局管理；所述DDCF系统子节点包括数据信息计算模块、数据操作模块以及结果反馈模块；其中，所述数据信息计算模块用于利用所述系统管理模块发送的三元组中的信息计算数据的指纹信息和bucket候选位置信息并将其提供给数据操作模块；所述数据操作模块根据Redis客户端发出命令需求进行相应的数据插入、数据查询或数据删除操作，并将操作结果提供给所述结果反馈模块；所述结果反馈模块用于将数据操作结果反馈给Redis客户端。