[发明专利]数据压缩方法及装置

说明书

本公开提供了数据压缩方法及装置，涉及数据处理技术领域。具体方案为：获取数据节点的磁盘中的第一纠删块；将单块磁盘中的第一纠删块排入一个队列，以生成纠删块队列；对纠删块队列中的第一纠删块依次进行数据压缩操作。针对单块磁盘中的第一纠删块分别进行压缩，无需重新读取数据，避免了存量数据的大规模挪动，通过简单的操作实现了分布式存储系统中存量数据的压缩问题。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种数据压缩方法及装置。

背景技术

目前，为了应对持续增长的数据存储需求，分布式存储系统被广泛应用，通过将数据分散存储在多台独立的设备上以减缓存储压力。此外，通过对数据压缩缩小数据所需的存储容量也成为数据存储中常用的手段。

相关技术中，对数据的压缩算法只能实现增量数据的压缩，无法实现存量数据的压缩。

发明内容

本公开提供一种数据压缩方法及装置，可以解决分布式存储系统存量数据的压缩问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种数据压缩方法，所述数据压缩方法包括：获取数据节点的磁盘中的第一纠删块；将单块所述磁盘中的所述第一纠删块排入一个队列，以生成纠删块队列；对所述纠删块队列中的所述第一纠删块依次进行数据压缩操作。

根据本公开的一个实施例，对所述第一纠删块进行数据压缩操作包括：将所述第一纠删块中压缩率等于或小于预设的压缩率阈值的对象写入第二纠删块中；对所述第一纠删块中压缩率大于所述压缩率阈值的所述对象进行压缩；将压缩后的所述对象写入所述第二纠删块中；所述第一纠删块中压缩率大于所述压缩率阈值的所述对象全部压缩完成后，将所述磁盘中的所述第一纠删块替换为所述第二纠删块。

根据本公开的一个实施例，所述压缩后的所述对象中包括已压缩标志位，所述对所述第一纠删块中压缩率大于预设的压缩率阈值的所述对象进行压缩，包括：检测所述第一纠删块中是否存在包括所述已压缩标志位的所述对象；若所述第一纠删块中不存在包括所述已压缩标志位的所述对象，则对所述第一纠删块中压缩率大于所述压缩率阈值的所述对象进行压缩。

根据本公开的一个实施例，所述数据压缩方法还包括：若所述第一纠删块中存在包括所述已压缩标志位的所述对象，则不对所述第一纠删块进行压缩。

根据本公开的一个实施例，所述压缩率阈值的取值范围为3%-7%。

本公开的实施例提供的技术方案至少带来以下有益效果：

本公开实施例中，先获取数据节点的磁盘中的第一纠删块，并将单块磁盘中的第一纠删块排入一个队列，以生成纠删块队列，再对纠删块队列中的第一纠删块依次进行数据压缩操作。针对单块磁盘中的第一纠删块分别进行压缩，无需重新读取数据，避免了存量数据的大规模挪动，通过简单的操作实现了分布式存储系统中存量数据的压缩问题。在已压缩过的对象中设置已压缩标志位，当在第一纠删块中检测出任意一个已经完成压缩的对象时，便可认为该第一纠删块已经进行过数据压缩，以此对第一纠删块进行压缩前的预检查，有效地避免了宕机重启之后的重复压缩。

根据本公开实施例的第二方面，提供一种数据压缩装置，所述数据压缩装置包括：获取模块，用于获取数据节点的磁盘中的第一纠删块；生成模块，用于将单块所述磁盘中的所述第一纠删块排入一个队列，以生成纠删块队列；压缩模块，用于对所述纠删块队列中的所述第一纠删块依次进行数据压缩操作。

根据本公开实施例的第三方面，提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本公开第一方面实施例所述的数据压缩方法。

根据本公开实施例的第四方面，提供一种存储有计算机指令的计算机可读存储介质，所述计算机指令用于使所述计算机执行如本公开第一方面实施例所述的数据压缩方法。