[发明专利]分布式缓存资源调度的方法、装置及系统

说明书

本申请是2009年12月31日递交的，申请号为200980118719.2，发明名称为“分布式缓存资源调度的方法、装置及系统”的中国申请的分案申请，其全部内容通过引用结合在本申请中。

技术领域

本发明涉及通信技术领域，尤其涉及一种分布式缓存资源调度的方法、装置及系统。

背景技术

目前，分布式缓存是IT技术领域中，特别是Web技术领域中，普遍使用的一项缓存技术，其主要应用于网页页面缓存、数据库缓存等方面以满足用户对网络系统响应速度的要求。

在分布式缓存系统中，缓存客户端的数据需要通过一定的负载均衡算法来分布到各个缓存节点上；目前最常用的负载均衡算法是hash(哈希)算法，而一致性hash算法(Consistent Hashing)又是hash算法中使用比较广泛的一种。

在基于一致性hash算法的分布式缓存系统中，所有的缓存节点可以是均布于一个虚拟圆结构上(以下简称“圆”)，当使用一般的hash函数时，物理服务器的映射点分布非常不均匀，现有技术中可以通过设置虚拟节点的方法，为每个物理服务器分配若干个虚拟节点(例如，100～200)，由于所述100～200个虚拟节点均布在所述“圆”上而且每个虚拟节点的覆盖范围都很小，因此可以起到均衡不同缓存节点上的负载的效果。但是，由于需要设置虚拟节点的数量很大，会使得缓存客户端的计算量也变得很大，增重缓存客户端的负担；同时，在布设有虚拟节点的“圆”中再次出现负载不均时，现有技术仍然无法对缓存节点上的负载进行及时调整。

而针对分布式缓存系统中整体负载过高或者过低的情况，目前还没有比较有效的方式来对分布式缓存系统中的资源分布进行调度。

发明内容

本发明的实施例提供一种分布式缓存资源调度的方法、装置及系统，用以实现分布式缓存系统中资源分布的自动化调度，使资源分布处于平衡状态。

为达到上述目的，本发明的实施例采用如下技术方案：

一种分布式缓存资源调度的方法，在分布式缓存系统中各缓存节点分布在一个基于一致性哈希算法的虚拟圆上，所述方法包括：

对分布式缓存系统中的各缓存节点的负载值进行监控；

根据所述负载值判断当前分布式缓存系统中是否存在负载异常；

若当前分布式缓存系统中存在负载异常，则对所述分布式缓存系统中的缓存节点的布局进行调整。

一种分布式缓存资源调度的方法，包括：

接收缓存管理装置发送的通知消息，该消息中包含有分布式缓存系统的虚拟圆上即将丢失数据的哈希段对应的旧缓存节点的位置信息；

在当前缓存节点上不存在缓存客户端要读取的数据时，根据所述位置信息访问所述旧缓存节点以获取并保存所述数据；

其中，所述即将丢失数据的哈希段是所述分布式缓存系统的虚拟圆上出现缓存节点布局的调整后，所归属的缓存节点有改变的哈希段。

一种缓存管理装置，该缓存管理装置所在的分布式缓存系统中各缓存节点分布在一个基于一致性哈希算法的虚拟圆上，所述缓存管理装置包括：

监控单元，用于对分布式缓存系统中的各缓存节点的负载值进行监控；

判断单元，用于根据所述负载值判断当前分布式缓存系统中是否存在负载异常；

调整单元，用于在当前分布式缓存系统中存在负载异常时，对所述分布式缓存系统中的缓存节点的布局进行调整。

一种缓存节点，包括：

接收单元，用于接收缓存管理装置发送的通知消息，该消息中包含有分布式缓存系统的虚拟圆上即将丢失数据的哈希段对应的旧缓存节点的位置信息；

获取单元，用于在当前缓存节点上不存在缓存客户端要读取的数据时，根据所述位置信息访问所述旧缓存节点以获取并保存所述数据；

其中，所述即将丢失数据的哈希段是所述分布式缓存系统的虚拟圆上出现缓存节点布局的调整后，所归属的缓存节点有改变的哈希段。

一种分布式缓存系统，包括缓存客户端、缓存管理装置及多个缓存节点；其中，

所述缓存客户端，用于根据一致性哈希算法将数据分布到所述多个缓存节点上；

所述缓存管理装置，用于对分布式缓存系统中的各缓存节点的负载值进行监控，并根据所述负载值判断当前分布式缓存系统中是否存在负载异常；若存在异常，则对所述多个缓存节点的布局进行调整；其中，所述负载异常包括负载不均、负载过高或者负载过低。