[发明专利]一种基于多树转换机制的键值存储方法

说明书

本发明提出一种基于多树转换机制的键值存储方法，具体包括：对于写入的键值数据，首先保存至写入跳表，当大小达到限制后，转换为只读跳表插入至内存设备中的B+树；当B+树大小达到一定限制时，根据热度策略遍历键值数据，将热度低的键值数据持久化至外存设备中的冷树0层；若冷树0层中的键值数据文件数量达到大小限制，则触发0层分区操作；当B+树中的键值数据执行持久化操作时，0层分区只接收符合设定范围的键值数据；若冷树中特定范围内的键值数据达到一定热度时，则转移至外存设备的热树中；同时热树中低热度的键值数据将转移至冷树中。本发明提供的方法使用热度策略减少读放大的同时，保证写入性能，实现键值存储系统性能的整体提升。

技术领域

本发明涉及计算机存储领域，特别是指一种基于多树转换机制的键值存储方法。

背景技术

随着大数据时代的到来，数据储量不断增加，数据特点发生了明显变化，非结构化数据占比已达到了数据总量的80％。在这样的数据变化趋势下，键值存储被广泛应用，它对数据结构没有明确限制，具有很高的可扩展性。目前已经有一些优秀的键值存储产品出现且被广泛应用，如Chrome浏览器使用的Leveldb，facebook基于Leveldb进一步提出改进的Rocksdb，Twitter使用的Redis和Memcached等。目前的键值存储所使用的数据结构主要有哈希结构、B树以及日志结构合并树(LSM树)，这三种结构分别具有不同的优缺点。

由于基于LSM树键值存储系统具有良好的写性能，并且支持范围扫描，因此出现了许多相关产品。但由于LSM树结构固有的结构特点(外存中的层级结构)，该结构的维护和使用会对键值存储系性能造成消极影响。以Leveldb为例，首先，Leveldb的写放大的来源主要是层间合并操作中的数据重写。例如，Leveldb中每一层的大小时上一层的10倍，将i层中的一个文件合并到i+1层时，在最坏的情况下，需要读取i+1层的10个文件，合并排序后再将这些数据写回i+1层，写放大倍数高达10，在这种情况下，将一个SST文件从L0层移动到L6层，写放大最高会达到50。其次，Leveldb的读放大的来源主要有两个方面。一方面，在查找一个键值对时，Leveldb可能需要在多个层级中进行查找，在最坏情况下，需要在L0中查找8个文件，在L1-L6层中每层需要查找一个文件，一共需要查找14个文件；另一方面，在一个SST文件中查找一个键值对时，Leveldb需要读取该文件的多个元数据块，实际读取的数据包括索引块、bloom过滤器块和数据块。例如，当查找1KB的键值对时，Leveldb需要读取16KB的索引块，4KB的过滤器块和4KB的数据块，共24KB的数据。在最差的情况下，需要读取14个SST文件，所以读放大会高达336。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于多树转换机制的键值存储方法，使用热度策略减少读放大的同时，保证写入性能，实现键值存储系统性能的整体提升。

本发明采用如下技术方案：

一种基于多树转换机制的键值存储方法，包括：

对于写入的键值数据，首先保存至写入跳表中，当大小达到限制后，转换为只读跳表插入至内存设备中的B+树；当B+树的大小达到一定限制时，遍历键值数据；

根据热度策略进行判断，将热度低的键值数据持久化至外存设备中的冷树的0层，热度高的键值数据则继续留存在B+树中；

若冷树的0层中的键值数据文件数量达到大小限制，则触发0层分区操作，0层分区操作依据层中现有的键值数据范围进行均分，若0层中某一分区的键值数据文件数量达到大小限制，则再次触发分区操作；

当B+树中热度较低的键值数据执行持久化操作时，0层分区只接收符合设定范围的键值数据；若冷树中范围内的键值数据经热度策略判断后达到一定热度时，则将这一范围内的键值数据转移至外存设备的热树中，并使用内存设备中的B+树索引热树中的键值数据；