[发明专利]LSM-tree索引的优化方法和装置

说明书

本发明实施例公开了一种LSM‑tree索引的优化方法和装置。所述方法包括：将写入内存中的数据按照LSM‑tree内存索引结构进行存储；当基于所述内存索引结构存储的内存数据满足写入阈值条件时，按照第一合并算法，对所述内存数据进行合并；将合并后的所述内存数据按照LSM‑tree磁盘索引结构写入磁盘文件中。本发明的技术方案解决了现有技术在频繁更新相同Key数据项的场景下所带来的CPU消耗过大、数据库对外的吞吐量降低、I/O操作过多以及引入内存缓存等技术问题，显著降低了CPU消耗，提高了数据库对外的吞吐量，同时避免了使用内存缓存而带来的额外内存开销以及性能降低等问题。

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种LSM-tree索引的优化方法和装置。

背景技术

LSM-tree(The Log-Structured Merge-Tree，日志结构的合并树)是很多现代数据库的底层索引结构，该索引结构的基本思想是把数据的变更操作首先保存在内存中，当内存中的数据规模到达一个阈值之后，将内存中的数据批量、有序地写入磁盘，并通过一定的分层整理算法将新落盘的数据与老的数据做滚动合并。其中，在LSM-tree索引结构中，数据是按照键值(Key-Value)对的方式进行存储的。每一个键(Key)中存储有对应的值(Value)，通过键名可以查找到相应的数据值(也称为数据项)，进而可以对数据项进行一定的操作。

一般来说，内存中会存储有与相同Key对应的多个数据项(例如，对某个热门站点首页的持续抓取所产生的数据项)，并为不同数据项赋予不同的版本号。在磁盘中，针对Key相同的数据项，新版本会覆盖或屏蔽旧的版本。

发明人通过研究发现，针对LSM-tree索引结构在频繁更新相同Key数据项的场景下，现有的处理机制会产生CPU(Central Processing Unit，中央处理器)消耗过大、数据库对外的吞吐量降低、I/O(input/output，输入输出)操作过多以及引入内存缓存等技术问题。

发明内容

有鉴于此，本发明实施例提供一种LSM-tree索引的优化方法和装置，以优化现有的LSM-tree索引结构在频繁更新相同Key数据项的场景下的处理机制，显著降低CPU消耗，提高数据库对外的吞吐量。

在第一方面，本发明实施例提供了一种LSM-tree索引的优化方法，包括：

将写入内存中的数据按照LSM-tree内存索引结构进行存储；

当基于所述内存索引结构存储的内存数据满足写入阈值条件时，按照第一合并算法，对所述内存数据进行合并；

将合并后的所述内存数据按照LSM-tree磁盘索引结构写入磁盘文件中。

在第二方面，本发明实施例提供了一种LSM-tree索引的优化装置，包括：

内存数据存储模块，用于将写入内存中的数据按照LSM-tree内存索引结构进行存储；

内存数据合并模块，用于当基于所述内存索引结构存储的内存数据满足写入阈值条件时，按照第一合并算法，对所述内存数据进行合并；

磁盘文件写入模块，用于将合并后的所述内存数据按照LSM-tree磁盘索引结构写入磁盘文件中。

本发明实施例通过按照LSM-tree索引结构来存储内存中写入的数据的方式，巧妙的利用了LSM-tree索引结构在存储数据时使用的合并操作，将相同Key数据项的合并操作下放至内存数据的存储过程中完成。解决了现有技术在频繁更新相同Key数据项的场景下，所带来的CPU消耗过大、数据库对外的吞吐量降低、I/O操作过多以及引入内存缓存等技术问题，显著降低了CPU消耗，提高了数据库对外的吞吐量，同时避免了使用内存缓存而带来的额外内存开销以及性能降低等问题。

附图说明