[发明专利]数据处理方法、装置、电子设备及计算机存储介质

说明书

本发明实施例提供了一种数据处理方法、装置、电子设备及计算机存储介质，其中，数据处理方法包括：获取待进行合并操作的第一层次的多个第一数据块的信息和第二层次的多个第二数据块的信息，其中，所述第一层次的各个数据块具有相同的第一尺寸，所述第二层次的各个数据块具有相同的第二尺寸；根据所述多个第一数据块的信息和所述多个第二数据块的信息，对各个第一数据块和各个第二数据块进行数据比较；根据比较结果，进行所述第一层次和所述第二层次的数据合并。通过本发明实施例，有效降低了I/O读写数据和数据比较造成的系统损耗，提升了系统吞吐率。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及计算机存储介质。

背景技术

数据库是一种以一定方式存储在一起的数据的集合，一般来说，数据库可以分为关系型数据库如MySQL和非关系型数据库如MongoDB等。随着计算机技术的发展，需存储数据的数据量以指数级速度增长，对数据库的数据管理和读写存取等性能提出了更高的要求。为此，一些数据库(如，X-DB数据库、LevelDB数据库、RocksDB数据库等)采用了LSM(LogStructured Merge Trees)结构。

在采用LSM结构的数据库中，数据写入(包括插入、更新、删除等)总是以追加方式写入内存表(memtable)中，不会覆盖掉原来的相同内容的行。当内存表追加到一定大小(比如1GB)时，内存表会转储到持久化存储(比如磁盘)中。然而，每次转储的数据都可能和上一次转储的数据在范围上存在重合(overlap)，尤其是更新、删除比较多的情况。LSM结构将每次转储的数据视为一层，转储层数越多，层次越多。而在进行读操作时，需要读取所有这些层次并对数据进行合并，层数增多会导致查询效率变差，并且层与层之间的重复数据越多，空间浪费也会越严重。

为此，LSM结构需要定期进行数据合并(compaction)操作，将数据有重合的层次合并为顺序排列的没有重合的数据层，并且丢弃掉不再被引用的旧版本数据。这个操作的过程包括：读取要合并的两层数据，进行归并排序，根据规则丢弃旧版本数据，写入合并后的结果。

但是，上述合并过程消耗了大量I/O读写数据，并且，还需要通过CPU进行数据比较，对系统性能会造成冲击，尤其是在负载较高的情况下，一旦开始数据合并(compaction)任务，系统吞吐会直线下降。

发明内容

有鉴于此，本发明实施例提供一种数据处理方案，以至少部分解决上述问题。

根据本发明实施例的第一方面，提供了一种数据处理方法，包括：获取待进行合并操作的第一层次的多个第一数据块的信息和第二层次的多个第二数据块的信息，其中，所述第一层次的各个数据块具有相同的第一尺寸，所述第二层次的各个数据块具有相同的第二尺寸；根据所述多个第一数据块的信息和所述多个第二数据块的信息，对各个第一数据块和各个第二数据块进行数据比较；根据比较结果，进行所述第一层次和所述第二层次的数据合并。

根据本发明实施例的第二方面，提供了一种数据处理装置，包括：获取模块，用于获取待进行合并操作的第一层次的多个第一数据块的信息和第二层次的多个第二数据块的信息，其中，所述第一层次的各个数据块具有相同的第一尺寸，所述第二层次的各个数据块具有相同的第二尺寸；比较模块，用于根据所述多个第一数据块的信息和所述多个第二数据块的信息，对各个第一数据块和各个第二数据块进行数据比较；合并模块，用于根据比较结果，进行所述第一层次和所述第二层次的数据合并。

根据本发明实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的数据处理方法对应的操作。

根据本发明实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的数据处理方法。