[发明专利]一种键值数据库内布隆过滤器的配置方法

说明书

本发明公开了一种键值数据库内布隆过滤器配置方法，特征是包括布隆过滤器相关参数设置步骤，生成适应性布隆过滤器步骤，多级缓存队列初始化步骤，多级缓存队列参数调整策略设置步骤，查询策略调整步骤；本发明能够根据工作负载的特征，动态调整布隆过滤器的配置情况；本发明与传统方法相比，在进行查询操作时，对于访问频率较高的文件元数据来说，进行查询判断时，多个布隆过滤器同时进行判断，从而减少了布隆过滤器误报带来的硬盘输入/输出操作；对于访问频率较低的元数据来说，其对应的布隆过滤器个数较少，相应的内存资源占用相对于传统技术也就越低；降低了内存开销，提高了读性能，系统整体的吞吐量得到提升。

技术领域

本发明属于计算机数据存储技术领域，具体涉及采用日志合并树的键值数据库内布隆过滤器的配置方法。

背景技术

在数据存储系统中，读性能是一个重要指标，键值存储系统往往采用基于日志合并树(Log-Structured-Merge-tree)的系统结构。在现代存储领域中，由于数据量急剧增加，键值存储系统通常采用布隆过滤器(bloomfilter)来避免读操作引发过多的硬盘输入/输出(I/O)操作，以提高读性能。美国计算机协会出版的《1970年ACMCACM国际期刊》(CommunicationsoftheACM 1970年7月第13卷，问题7，第422-426页)所介绍的布隆过滤器(Space/timetrade-offs in hash codingwith allowable errors)是现代键值存储系统(如LevelDB,RocksDB)最常用的技术。现有的方法是每个文件只对应一个固定误报率的布隆过滤器，内存资源消耗固定，无法动态调整，当数据量较大时，需要进行读取的操作较多，为了避免布隆过滤器发生过多的误报操作，必须使用空间占用较大的布隆过滤器，因此内存开销较大，否则会因为布隆过滤器的误报率较高导致很差的读性能。另外，美国计算机协会出版的《2001年Usenix技术年会论文集》(GeneralTrack:UsenixTechnicalConference2001年第91-104页)所介绍的多级缓存队列(Multi-Queue)对冷热数据区分度良好，使得服务器端缓存表现出较好的性能；但由于其原本应用于网络服务器中，缓存数据的具体替换算法不能直接应用到键值存储系统中。

发明内容

本发明的目的是提出一种键值存储系统内布隆过滤器的配置方法，以克服现有技术的上述缺陷，在内存资源受限的情况下，对键值存储系统内布隆过滤器的配置进行动态调整，最大程度地减少由布隆过滤器误报引发的磁盘I/O(输入/输出)操作，合理利用内存资源，提高读性能。

本发明键值存储系统内布隆过滤器的配置方法，其特征在于包括以下步骤：

第一步：设置布隆过滤器相关参数