[发明专利]分布式缓存系统和方法

说明书

技术领域

本发明涉及数据处理技术领域，具体地，涉及一种分布式缓存系统和一种分布式缓存方法。

背景技术

CAP理论是分布式系统的重要定理。它是指分布式系统的三个特性：Consistency一致性、Availability可用性、Partition-tolerance分区可容忍性。一致性是指分布式系统各节点对数据读写有一致的副本。可用性是指保证读写操作的完整以及读写速度。分区可容忍性可理解为系统的扩展性，在一些节点产生网络中断的情况下，仍然可以对外提供服务并满足可用性和一致性。对于分布式系统最多可以同时满足其中的两个，或者在三者间做一个平衡，而不能同时完美的兼顾这三个特性。

目前行业内的分布式产品，都根据自己的使用场景和业务需求在这三个特性之间做了取舍或者做了折中的平衡。比如传统的关系型数据库设计就选择了C（一致性）与A（可用性）而放弃了P（分区可容忍性），因为传统数据库的ACID模型拥有高一致性和可用性，所以很难进行分区。

而对于传统的互联网公司（例如一些门户网站），因为服务器数量比较多，且部署比较分散，发生网络故障是正常现象。而在必然要保证可用性的情况下，都会优先考虑分区容忍性与可用性，从而在一致性的方面做一些让步。所以常见的高可用服务器都是放弃C而选择AP。

以在当前互联网行业中应用广泛的分布式缓存为例，在当前主流的分布式缓存的产品上，也都在这三者之间做了一个折中。作为分布式产品，一般都需要考虑分区可容忍性，因此，大部分产品都在一致性与可用性之间做了取舍，比如目前非常流行的Apache基金会的Zookeeper等产品，实际也就是加强可用性，而在一致性方面做了让步，放弃了强一致性（强一致性是指，数据一旦写入，能保证之后任意的操作都能读到最新值），而采取了最终一致性，作为zookeeper集群，当半数以上的集群完成数据更新后被认为是写操作完成，但是读操作，会随机选择一个节点来完成，所以无法保证读操作能读到最新的数据。另外，一些搜索产品为了考虑性能而采用了异步冗余的方式，对外体现的就是实现了弱一致性，也是采用了放弃一致性而优先倾向于可用性。

对于不同的业务使用场景，当前没有一种分布式产品能通用，因为不同的业务对CAP策略要求不同。为了适应不同的开发产品需要，在这里，我们提出了一种可以动态调节数据备份节点的CAP策略的分布式系统，这样，对于不同客户都只需要采用相同的部署方式，只需要实施人员根据客户需要调整实施策略即可满足不同的客户需要。

因此，需要一种新的分布式缓存技术，可以在现有的分布式缓存方式基础上，充分利用单对象类型完成多对象类型元数据的分布式缓存，建立多对象类型元数据参与的面向复杂类型分布式缓存的通用、统一缓存思路。

发明内容

本发明正是基于上述问题，提出了一种新的分布式缓存技术，可以在现有的分布式缓存方式基础上，充分利用单对象类型完成多对象类型元数据的分布式缓存，建立多对象类型元数据参与的面向复杂类型分布式缓存的通用、统一缓存思路。

有鉴于此，本发明提出了一种分布式缓存系统，包括：数据定位单元，用于将待缓存数据通过一致性哈希定位到预设的每个逻辑节点，将每个逻辑节点作为分布式数据存储的节点；基于预设的写入节点数阈值和/或读取节点数阈值，将定位到每个逻辑节点的待缓存数据，进行写入和/或读取操作；场景平衡单元，用于基于对定位到每个逻辑节点的待缓存数据的写入和/或读取操作，根据实际应用场景，调整预设的写入节点数阈值和/或读取节点数阈值和/或写入节点数和读取节点数总和的阈值；策略调整单元，用于基于调整后的写入节点数阈值和/或读取节点数阈值和/或写入节点数和读取节点数总和的阈值，适应性地调整读写服务器的数量，并对数量调整后的读写服务器进行策略调整。在该技术方案中，可以根据实际的业务场景需要，在分布式系统中分区容忍性，一致性与可用性之间取得一个平衡。

在上述技术方案中，优选地，所述数据定位单元将待缓存数据通过一致性哈希定位到的每个逻辑节点，均有备份物理节点，每个物理节点都保存有当前逻辑节点的完整数据；和/或，所述策略调整单元对数量调整后的读写服务器进行策略调整时，调整的策略包括读写操作冲突自处理策略、读写性能兼顾处理策略、读写性能自调整策略和工作节点数自调整策略。在该技术方案中，可以满足不同的业务场景需要。