[发明专利]一种磨损感知和负载均衡的多层非易失缓存方法

说明书

本发明公开了一种磨损感知和负载均衡的多层非易失缓存方法，包括以下步骤：建立多层非易失缓存架构，用于处理大规模存储系统中对象的读写请求；在处理对象的读写请求之前，采用独立缓存分区算法进行对象缓存；在处理对象的读写请求过程中，采用多路选择方法进行对象访问；在处理对象的读写请求过程中，监控多层非易失缓存架构的磨损情况，当磨损情况超过所设阈值时，采用数据迁移方法进行对象调换。本发明建立多层非易失缓存架构并用于处理大规模存储系统的读写请求；分别采用独立缓存分区算法缓存对象、采用多路选择方法访问对象，提高系统负载均衡能力；再者采用数据迁移方法调换对象，提高系统的磨损均衡能力以及系统整体使用寿命。

技术领域

本发明涉及非易失缓存领域，更具体地，涉及一种磨损感知和负载均衡的多层非易失缓存方法。

背景技术

数据密集型应用和服务对数据存储的需求越来越高，大规模存储系统提供了大规模存储和快速响应能力。由于真实的工作负载通常是倾斜的(例如，请求分布符合Zipf定律)，一些节点会接收到更多的请求，而其他节点接收较少请求，不均衡的请求分布导致了负载的不均衡，使得热点节点成为系统瓶颈，降低了系统的性能，因此负载均衡是大规模存储系统的一个挑战。

为了尝试解决负载均衡的问题，缓存被加以应用。在使用DRAM的缓存架构中，DRAM芯片不仅容量小，而且成本高，相比之下，非易失存储设备具有容量大和非易失等优势，因而被广泛部署于大规模存储系统中。然而，非易失存储设备的写寿命有限，只能够接受一定次数的写操作，且读写性能不对称，使得写操作延迟更高。不对称的读写操作会影响负载均衡，集中的写操作也会加快一些节点的损坏。现有缓存机制未考虑非易失存储设备的读写不对称和写寿命，因而呈现出负载不均和磨损不均等问题。显然，如何提高负载均衡和磨损均衡能力，是非易失缓存的关键所在。

在现有技术中，公开号为CN103268292A的中国发明专利，于2013年08月28日公开了一种延长非易失外存寿命的方法及高速长寿外存系统，通过维护写缓存和原始缓存进行工作；维护方法包括写缓存混合粒度调度方法、基于字节的比较写回方法和双缓存协调方法；首先使用写缓存来合并文件系统对同一数据的多次写操作，再通过写缓存和原始缓存基于字节的比较来写回新数据。虽然该技术方案通过降低非易失存储器的写数据量，在一定程度上延长了非易失外存寿命，但是并未能解决上述问题。因此，用户急需一种磨损感知和负载均衡的多层非易失缓存方法。

发明内容

本发明为解决大规模存储系统访问负载倾斜、非易失存储设备读写不对称和写寿命有限所导致的负载不均、磨损不均等问题，提供了一种磨损感知和负载均衡的多层非易失缓存方法。

本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：

一种磨损感知和负载均衡的多层非易失缓存方法，包括以下步骤：建立多层非易失缓存架构，用于处理大规模存储系统中对象的读写请求；在处理对象的读写请求之前，采用独立缓存分区算法进行对象缓存；在处理对象的读写请求过程中，采用多路选择方法进行对象访问；在处理对象的读写请求过程中，监控多层非易失缓存架构的磨损情况，当磨损情况超过所设阈值时，采用数据迁移方法进行对象调换。

优选地，通过客户端、协调节点、缓存层、存储集群搭建所述多层非易失缓存架构；其中，所述客户端与协调节点连接；所述客户端与缓存层连接；所述客户端与存储集群连接；所述缓存层与存储集群连接。

优选地，所述缓存层包括缓存节点；所述缓存节点与客户端连接；所述缓存节点与存储集群连接。

优选地，所述存储集群包括若干存储服务器；所述存储服务器与客户端连接；所述存储服务器与缓存节点连接。

优选地，所述对象缓存的具体过程为：每个所述缓存层均采用独立缓存分区算法进行数据散列。

优选地，所述对象访问的具体过程为：采用多路选择方法对不同所述缓存节点中缓存的相同对象进行访问。