[发明专利]一种基于时间片轮转机制的树状存储结构写放大优化方法

说明书

本发明公开了一种基于时间片轮转机制的树状存储结构写放大优化方法。本方法为：1)选取磁盘空间中一待合并的组件，赋予其占用时间片的权限；其中，磁盘空间为多组件的树状存储结构；2)根据所选组件当前数据量的大小，动态调整时间片的阈值大小；3)所选组件在占用时间片的过程中连续进行若干次合并操作。本发明对拥有时间片的组件具有最高的合并选择优先级，不能进行合并操作的组件将自动放弃时间片，避免不必要的长期占用，导致系统资源空闲，可以将LSM‑Tree的整体写吞吐量提升40％以上。

技术领域

本发明属于计算机软件技术领域，涉及到一种基于时间片轮转机制的树状存储结构写放大优化方法。

背景技术

LSM Tree是一种多组件的树状存储结构。总体来说，LSM Tree由内存空间和磁盘空间两部分构成。数据首先会被缓存在内存空间中，当内存空间达到一定阈值时，内存的数据会被批量地刷写到磁盘空间上。磁盘空间由多层组件构成，各层组件都有一个存储数据大小的阈值，阈值自上而下呈指数增长。刚从内存刷写到磁盘的数据会先存储在上层组件中，当组件中的数据达到阈值时，会通过合并操作将本层数据合并到下层组件中。当LSM-Tree中有多个组件的数据量达到阈值时，会根据合并选择优先级机制，选择优先级最高的组件进行合并操作。

写放大是目前影响LSM-Tree性能的主要原因。写放大表示一次合并操作的有效率，其计算公式为：写放大＝写操作总IO量/有效移动数据总量，可以看出，写放大越大，表明此次操作的无效IO比例越大，效率就越低，性能也就越差。LSM-Tree写放大较大的原因主要是：在合并操作时，需要从待合并的上下两个组件中各读取一部分数据到内存中进行合并，合并后将结果写回下层组件，而只有上层组件的数据是有效移动数据，下层组件的数据并没有移动，所以下层组件的数据量越大，写放大就越大。现有的LSM-Tree合并选择优先级机制存在缺陷，不能保证各个组件的数据顺利向下层组件移动，一旦数据量增加，数据就会滞留在某一组件中，导致组件在合并时写放大较大，影响整体性能。

发明内容

本发明的主要目的在于提出一种基于时间片轮转的合并机制，通过设定的合并选择机制，选择待合并的组件，赋予其占用时间片(一种合并所需的系统资源)的权限，并根据组件当前数据量的大小，动态调整时间片的阈值大小，从而有效控制其占用时间片的时间长短，保证其在占用时间片的过程中连续进行若干次合并操作，从而有效控制组件的文件个数，降低写放大，提升系统整体吞吐量。

本发明的技术方案为：

一种基于时间片轮转机制的树状存储结构写放大优化方法，其步骤为：

1)选取磁盘空间中一待合并的组件，赋予其占用时间片的权限；其中，磁盘空间为多组件的树状存储结构；

2)根据所选组件当前数据量的大小，动态调整时间片的阈值大小；

3)所选组件在占用时间片的过程中连续进行若干次合并操作。

进一步的，选择待合并的组件需满足的条件为：组件的数据量大于该组件的数据量阈值。

进一步的，优先选择上次分配时间片的组件的相邻下个组件作为待合并的组件。

进一步的，如果相邻组件不满足组件的数据量大于该组件的数据量阈值条件时，则计算其他组件的当前数据量与对应组件的数据量阈值的比值，选取满足组件的数据量大于该组件的数据量阈值条件且比值最大的组件。

进一步的，动态调整时间片的阈值大小的方法为：T为当前分配时间片占用权限的组件Ci的时间片阈值，T＝(超出组件Ci的数据量阈值的数据总量/每次合并平均移动数据量)*每次合并的平均时间；其中每次合并平均移动数据量表示为：当组件Ci参与合并且合并后的数据写回下层组件时，从该组件Ci读取的数据总量。

进一步的，将所选组件每次合并所消耗的时间进行累加，当消耗的总合并时间超过了对应时间片的阈值，则将取消所选组件的占用时间片的权限。