[发明专利]数据处理方法、装置以及存储引擎装置

说明书

本公开提供了一种数据处理方法、装置以及存储引擎装置、电子设备、存储介质以及计算机程序产品。本公开涉及数据库、数据存储领域。本公开提供的数据处理方法包括：确定待回收数据块；确定待回收数据块的当前空洞率；至少基于当前读写负载确定当前回收空洞率；确定所回收数据块的当前空洞率是否低于当前回收空洞率；以及响应于待回收数据块的当前空洞率不低于当前回收空洞率，对待回收数据块进行回收。利用本公开提供的方法，可以基于当前读写负载适应性地对数据块的回收空洞率进行调整，使得能够实现动态的数据回收策略。

技术领域

本公开涉及数据库、数据存储领域，具体涉及一种数据处理方法、装置以及存储引擎装置、电子设备、存储介质以及计算机程序产品。

背景技术

为了充分利用存储介质的顺序写性能，可以通过追加写的方式实现数据存储，从而提高存储引擎的写性能。在写入过程中，可以采用压实(Compaction)机制对存储介质中的无效数据进行回收。

发明内容

本公开提供了一种数据处理方法、装置以及存储引擎装置、电子设备、存储介质以及计算机程序产品。

根据本公开的一方面，提供了一种数据处理方法，包括：确定待回收数据块；确定所述待回收数据块的当前空洞率；至少基于当前读写负载确定当前回收空洞率；确定所述待回收数据块的当前空洞率是否低于所述当前回收空洞率；以及响应于所述待回收数据块的当前空洞率不低于所述当前回收空洞率，对所述待回收数据块进行回收。

根据本公开的另一方面，提供了一种数据处理装置，包括：待回收数据块确定单元，配置成确定待回收数据块；空洞率确定单元，配置成确定所述待回收数据块的当前空洞率；回收空洞率确定单元，配置成至少基于当前读写负载确定当前回收空洞率；比较单元，配置成确定所述待回收数据块的当前空洞率是否低于所述当前回收空洞率；以及回收单元，配置成响应于所述待回收数据块的当前空洞率不低于所述当前回收空洞率，对所述待回收数据块进行回收。

根据本公开的另一方面，提供了一种存储引擎装置，包括：索引层，配置成存储包括数据键和值索引的索引项，所述值索引包括与所述数据键对应的数据值所在的数据块的标识以及所述数据值在数据块中的偏移量；数据层，配置成存储多个数据块；控制单元，配置成：从所述数据层中确定待回收数据块；利用所述待回收数据块对应的空洞率计数器确定所述待回收数据块的当前空洞率；至少基于由流量计数器得到的当前读写负载确定当前回收空洞率；以及响应于所述待回收数据块的当前空洞率不低于所述当前回收空洞率，对所述待回收数据块进行回收。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如前所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现如前所述的方法。

根据本公开的一个或多个实施例，通过基于当前读写负载调整用于待回收数据块的当前回收空洞率，可以实现动态的数据回收策略。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1示出了根据本公开的实施例的数据处理方法100的示意性的流程图；