[发明专利]数据处理方法、装置、电子设备及计算机可读介质

说明书

本申请实施例公开了数据处理方法、装置、电子设备及计算机可读介质。该方法可以用于日志结构合并树LSM存储结构，包括：响应于检测到对LSM树存储结构中的目标数据进行合并操作，获取与目标数据相关的位操作记录，其中，目标数据包括初始被操作值和操作值；判断位操作记录中是否包含非目标操作的记录；响应于确定位操作记录中不包含非目标操作的记录，根据预设算法，将初始被操作值与操作值进行位操作记录所指示的位操作，生成合并记录；将生成的合并记录存储至LSM树存储结构中。通过对目标数据的位操作记录所指示的位操作进行合并处理，可以减少LSM树存储结构中数据存储的条目数，从而有助于降低存储空间的占用。

技术领域

本申请实施例涉及计算机技术领域，尤其涉及数据处理方法、装置、电子设备及计算机可读介质。

背景技术

在现有的NoSQL(Not Only SQL)数据库领域中，基于LSM(Log Structured MergeTree，日志结构合并树)结构的存储引擎和数据库占据了非常重要的位置。LSM树结构是一种基于硬盘的数据结构。LSM树存储结构可以每次将数据库的更新写入内存和WAL(WriteAhead Log，预写日志系统)日志中，从而提升数据库的写入性能。同时，可以通过结构化合并树的各个节点文件，来压缩数据文件的数量和大小，并尽可能提升读性能。也就是说，LSM树存储结构通常是一种以损失部分读性能来换取更好的写性能的存储结构。

目前常用的LSM树存储结构的功能通常都比较简单。一般只包含针对单值的写入、删除、查询等功能。而部分数据库还可以包含针对范围扫描查询功能。

发明内容

本申请实施例提供了数据处理方法、装置、电子设备及计算机可读介质。

第一方面，本申请实施例提供了一种数据处理方法，用于日志结构合并树LSM存储结构，包括：响应于检测到对LSM树存储结构中的目标数据进行合并操作，获取与目标数据相关的位操作记录，其中，目标数据包括初始被操作值和操作值；判断位操作记录中是否包含非目标操作的记录；响应于确定位操作记录中不包含非目标操作的记录，根据预设算法，将初始被操作值与操作值进行位操作记录所指示的位操作，生成合并记录；将生成的合并记录存储至LSM树存储结构中。

在一些实施例中，非目标操作包括除或操作和/或与操作之外的位操作；以及位操作记录中包括位操作的操作符和操作值。

在一些实施例中，非目标操作包括除或操作以及与操作之外的位操作；以及位操作记录中的操作符包括或操作符和/或与操作符，其中，或操作符用于表征或操作，与操作符用于表征与操作。

在一些实施例中，预设算法包括以下至少一种：初始被操作值和第一操作值的与操作结果再和第二操作值进行与操作，等于第一操作值和第二操作值的与操作结果再和初始被操作值进行与操作；或者初始被操作值和第一操作值的或操作结果再和第二操作值进行或操作，等于第一操作值和第二操作值的或操作结果再和初始被操作值进行或操作；或者初始被操作值和第一操作值的与操作结果再和第二操作值进行或操作，等于将初始被操作值和第二操作值的或操作结果、第一操作值和第二操作值的或操作结果进行与操作；或者初始被操作值和第一操作值的或操作结果再和第二操作值进行与操作，等于将初始被操作值和第二操作值的与操作结果、第一操作值和第二操作值的与操作结果进行或操作。

在一些实施例中，LSM树存储结构中的数据以键值对形式进行存储，目标数据为与目标键对应的值。

在一些实施例中，将生成的合并记录存储至LSM树存储结构中，包括：将目标数据中的初始被操作值与对应生成的合并记录建立对应关系，并将该合并记录存储至LSM树存储结构中。