[发明专利]一种热点数据的管理方法、装置及系统

说明书

本申请提供一种热点数据的管理方法、装置及系统。其中，该方法包括：第一集群和第二集群包括至少一个单线程的主控制单元，该主控制单元一次处理一个包括对数据的访问请求，该访问请求所访问的数据由第一集群和第二集群共同管理；数据库服务器确定第一集群管理的热点数据并判断是否满足将该热点数据迁移至第二集群的迁移条件，该第二集群用于管理满足迁移条件的热点数据；数据库服务器将满足迁移条件的热点数据迁移至第二集群并触发对该热点数据访问路径的更新。上述方法能够在热点数据出现时减小第一集群的业务压力，保证第一集群的性能和可靠性。

技术领域

本发明涉及信息技术领域，尤其涉及一种热点数据的管理方法、装置及系统。

背景技术

为保证数据库能够稳定高效的提供服务，一般会在数据库(database，DB)与客户端之间设置缓存机制，使用缓存机制不仅可以解决数据库服务器的压力，同时也可以提高数据的读写速度。内存数据库通常被用作客户端与数据库的缓存层，内存数据库的所有数据访问控制都在内存中进行，由于内存本身读写速度很快，因此内存数据库性能较好。

Redis是一种内存数据库，可以用作数据库和客户端的缓存层。Redis是一个由C语言编写、遵守伯克利软件发行版(berkeley software distribution，BSD)协议、支持网络、可基于内存亦可以持久化的键值(key-value)无锁数据库。redis集群(cluster)是redis的分布式解决方案，有效的解决了redis分布式方面的需求，采用cluster架构可以达到负载均衡的目的。

在实际使用场景中，redis cluster可能会收到大量单一数据的频繁访问请求，客户端大量请求同一个关键字(key)(可能对应应用的某个促销商品、热点新闻、热点评论等)对应的数据，根据key的哈希值，所有访问请求都将集中到同一个物理设备上，该物理设备的负载会严重加剧，导致部署在该物理设备上的主控制单元以及该物理设备本身都面临崩溃瘫痪的风险，这种现象被称为“热点key”问题。

热点key现象会造成流量大量集中，达到服务器的上限，同时请求过多集中在一台服务器上，将导致服务器瘫痪，进而导致整个缓存机制被热点key击穿，此时，业务请求直接访问后端数据库，进一步击穿DB，引起一系列的业务崩溃。

发明内容

本发明实施例公开了一种热点数据的管理方法、装置及系统，能够在第一集群出现热点数据的时候，将热点数据迁移至第二集群，从而减轻第一集群的业务压力，保证第一集群的性能和可靠性。

第一方面，本申请提供了一种热点数据的管理方法，由数据库服务器中的监控进程执行，包括：监控进程中的监控模块确定第一集群管理的热点数据，该第一集群包括至少一个单线程的主控制单元，所述单线程的主控制单元一次处理一个访问请求，所述访问请求包括对数据的访问请求；监控模块判断是否满足将所述热点数据迁移至第二集群的迁移条件，该第二集群包括至少一个单线程的主控制单元，所述访问请求所访问的数据由所述第一集群和所述第二集群共同管理，所述第二集群用于管理满足所述迁移条件的热点数据；在满足迁移条件时，监控进程中的迁移模块将该热点数据迁移至第二集群，并触发对该热点数据访问路径的更新。

在本申请实施例中，第一集群可以是redis集群，第一集群的主控制单元可以部署在多个物理设备上，第二集群是第一集群的副集群，第二集群的主控制单元可以与第一集群的主控制单元部署在相同的物理设备上。在第一集群存在热点数据的情况下，通过将热点数据迁移至第二集群，可以减小第一集群的业务压力，实现第一集群和第二集群间的负载均衡，保证第一集群的高性能和可靠性。结合第一方面，在第一方面一种可能的实现方式中，所示第一集群中的第一主控制单元和所述第二集群中的第一主控制单元部署在不同的物理设备。