[发明专利]一种基于消息队列的Redis集群海量数据快速清理系统及方法

说明书

本发明公开了一种基于消息队列的Redis集群海量数据快速清理系统及方法，该系统包括管理节点、Redis集群节点、消息队列节点和临时缓存节点；Redis集群节点：在不同的服务器上部署Redis cluster服务，至少部署三个Redis主库，每个Redis主库至少对应1个Redis从库；消息队列节点：在不同的服务器上部署消息队列分布式集群作为对Redis键值进行处理的中间载体；临时缓存节点：在两台服务器上分别部署Pika主库和Pika从库，用于存储Redis集群清理的数据；管理节点：存储所有元信息，同时部署Web应用服务，访问Redis集群、消息队列集群和Pika主库，对Redis键值进行删除处理。本发明的处理速度接近内存级速度，可以实现快速清理海量数据，使用简单可靠，对Redis集群服务影响小，可以实现数据一键回滚。

技术领域

本发明属于计算机技术领域，主要应用于Redis数据库的应用场景，用于快速清理Redis集群的海量数据。

背景技术

对于互联网公司而言，Redis数据库作为缓存和高性能存储方案，应用越来越广泛，尤其是Redis集群，由于支持分布式高可用和横向扩展，得到了普及应用。但是，Redis集群的特点决定了清理海量数据的复杂度，现有Redis集群数据清理的方案存在如下缺点：

1)清理速度慢，无法满足短时间内清理海量数据的需求，从而影响生产环境服务的正常运转。

2)对Redis集群服务影响大，对于高并发Redis集群而言，清理海量数据，会影响生产环境业务正常运行。

3)易用性差，对操作人员能力要求很高，操作便捷性差。

发明内容

本发明针对现有技术的不足，提供一种基于消息队列的Redis集群海量数据快速清理系统及方法，基于消息队列可以避免数据写入磁盘，在内存中对数据进行分析后，调用Redis接口即可进行快速清理。

本发明的目的是通过以下技术方案来实现的：一种基于消息队列的Redis集群海量数据快速清理系统，该系统包括管理节点、Redis集群节点、消息队列节点和临时缓存节点。

Redis集群节点：在不同的服务器上部署Redis cluster服务，至少部署三个Redis主库，每个Redis主库至少对应1个Redis从库，避免某个主库宕机后，Redis cluster无法正常运行；不同的Redis主库端口不同，Redis主库和对应的Redis从库端口一致；

消息队列节点：在不同的服务器上部署消息队列分布式集群，服务器为IO型服务器，为了支持海量数据，采用支持分布式和横向扩展的消息队列存储方案，设置两副本，部署三个分片，消息队列分布式集群作为对Redis键值进行处理的中间载体；

临时缓存节点：在两台服务器上分别部署Pika主库和Pika从库，端口号一致，用于存储Redis集群清理的数据，便于进行回滚操作，为了提高处理速度和节省内存空间，采用Pika作为存储方案。

管理节点：存储所有元信息，包括Redis集群元信息、消息队列元信息、临时缓存元信息和缓存数据统计信息，所述Redis集群元信息包括：Redis集群中所有Redis主库的IP和端口，以及每个Redis集群的集群标识符，集群标识符采用Redis集群对应的业务名称英文字符，不同的Redis集群，集群标识符不同；消息队列元信息包括：消息队列集群中所有分片的IP、端口；临时缓存元信息包括：Pika主库的IP、端口和密码；缓存数据统计信息包括：键值前缀、键值数量和执行时间；所述键值前缀是Redis集群中某一类Key的前缀，一个键值前缀可以匹配到一个或者多个Key，Key是Redis集群中的键；所述执行时间包括删除某个键值前缀匹配到的所有键值的开始时间点和完成时间点；同时，在管理节点上部署Web应用服务，访问Redis集群、消息队列集群和Pika主库，对Redis键值进行删除处理。