[发明专利]一种数据压缩方法及终端

说明书

本发明实施例公开了一种数据压缩方法及终端，该方法包括：终端通过第一计算策略计算待压缩数据块的第一特征值；所述终端判断第一查找库中是否存在第一参考值；若存在所述第一参考值，则所述终端通过相似压缩技术以所述第一参考值对应的数据块为参考数据块对所述待压缩数据块压缩；若不存在所述第一参考值，则所述终端通过第二计算策略计算所述待压缩数据块的第二特征值；所述终端判断第二查找库中是否存在第二参考值，所述第二参考值为与所述第二特征值相同的特征值；若存在所述第二参考值，则所述终端通过相似压缩技术以所述第二参考值对应的数据块为参考数据块对所述待压缩数据块压缩。采用本发明，能够提高压缩率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据压缩方法及终端。

背景技术

数据存储是计算机系统中不可或缺的部分，磁盘、磁带、闪存、非易失性内存、云存储等都可以用来存储数据。全世界每天都会产生巨量的数据，如果对这些数据进行未经处理的原始保存会占用较大的存储空间，成本开销很高；为了有效地保存这些数据，通常会采用数据缩减技术对这些数据进行压缩，常用的数据缩减技术包括重复数据删除、通用无损压缩、相似压缩等技术。

以备份场景为例，连续的两个备份文件之间通常会存在大量的相同数据，可以通过重删技术有效的缩减备份文件的实际存盘数量，即后一个备份文件只保存与前一个备份文件“不同的数据”，从而起到了节省存储成本和降低网络传输的数据量的效果。然而，数据库应用中大量的操作是修改查询，大部分需要下盘的“不同的数据”都是由修改产生。这些修改产生的“不同的数据”与修改前备份的数据之间存在“相似性”，可以通过Delta压缩技术对存在相似性的数据做进一步的压缩，Delta压缩技术的压缩原理如下：

首先为待压缩的数据选择相似数据，然后使用Delta压缩技术参照该相似数据对该待压缩的数据压缩，相似度越高压缩效果越好；现有技术的缺陷在于，该待压缩的数据由多个数据块组成，各个数据块之间的差异性较大，如果通过较高相似度标准为这些数据块选择参考数据块，那么某些数据块可能找不到参考数据块，导致该数据块无法基于Delta压缩技术压缩，如果通过较低相似度标准为这些数据选择参考数据块，那么为某些数据块筛选的参考数据块与该数据块的相似度角度较低，导致该数据块的压缩效果不好。

发明内容

本发明实施例公开了一种数据压缩方法及终端，能够提高压缩率。

第一方面，本发明实施例提供了一种数据压缩方法，该方法包括：终端通过第一计算策略计算待压缩数据块的第一特征值；所述终端判断第一查找库中是否存在第一参考值，所述第一参考值为与所述第一特征值相同的特征值，所述第一查找库包含N个特征值且每个特征值为基于所述第一计算策略对所述特征值对应的数据块计算得到，所述第一查找库中的所述N个特征值一一对应N个数据块，N大于等于1；若存在所述第一参考值，则所述终端通过相似压缩技术以所述第一参考值对应的数据块为参考数据块对所述待压缩数据块压缩；若不存在所述第一参考值，则所述终端通过第二计算策略计算所述待压缩数据块的第二特征值，两个数据块的相似度高于第一相似阈值时，通过所述第一计算策略计算出的所述两个数据块的特征值相同；所述两个数据块的相似度高于第二相似阈值时，通过所述第二计算策略计算出的所述两个数据块的特征值相同，所述第一相似阈值高于所述第二相似阈值；所述终端判断第二查找库中是否存在第二参考值，所述第二参考值为与所述第二特征值相同的特征值，所述第二查找库包含N个特征值且每个特征值为基于所述第二计算策略对所述特征值对应的数据块计算得到，所述第二查找库中的所述N个特征值一一对应所述N个数据块；若存在所述第二参考值，则所述终端通过相似压缩技术以所述第二参考值对应的数据块为参考数据块对所述待压缩数据块压缩。