[发明专利]一种数据压缩方法及装置

说明书

本申请提供一种数据压缩方法及装置，在本申请中，服务器获取压缩后的数据，该数据至少包括第一部分和第二部分。服务器对第一部分进行解压缩，在对第一部分解压缩之后，对第二部分进行解压缩，其中，所述第一部分的热度值高于所述第二部分的热度值。由于第一部分排在第二部分前面，并且第一部分的热度值相较于第二部分的热度值高，第一部分被访问的概率也比较高，因此，可以降低解压缩第一部分的读放大比率，而解压缩第二部分的放大比率相对于现有的压缩方式大致相同，从而降低了服务器的平均读放大比率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据压缩方法及装置。

背景技术

目前，全世界每天产生的新增计算机数据，以及巨大的存量数据，将会带来更高的存储效率和存储资源需求，数据缩减技术正是因此而发展和成熟的技术。

数据缩减技术的原理可以理解为，对于频繁使用的数据可以使用较短的代码代替，每个数据的代码不同，基于该原理，可以对待压缩的多个对象中存在的重复数据进行压缩，以此减少该多个对象所占用的存储空间。

常用的数据缩减技术包括合并压缩和差量压缩。图1为一种合并压缩的流程示意图。如图1所示，合并压缩的过程可以包括：通过相似指纹的方式识别多个相似对象，将该多个相似对象进行合并，其中，每个对象中存在多个字节，示例性地，可以以字节为粒度对每个对象进行扫描，如果在后的数据(字节)与在先的数据(字节)重复，则可以使用该数据对应的代码替换在后的数据。差量压缩与合并压缩不同之处在于，差量压缩在多个相似对象中，选取一个标准对象，将其余每个对象与该标准对象进行比对，保留与标准对象中的数据不同的数据，压缩掉与标准对象中的数据重复的数据，以此减少该多个对象所占用的存储空间。

数据缩减技术鉴于其能够有效节省存储空间而被广泛使用，但从上述合并压缩的过程中可以看出合并压缩中被压缩掉的数据与压缩后的数据之间存在一定关联的，这就导致需要对基于合并压缩后的数据解压时，需要整块解压，也即会造成读放大，例如，在对最后一个对象进行解压时，需要将其之前的全部对象一起解压，根据最后一个对象中的代码去前面的对象中找到被压缩掉的数据，从而恢复至该最后一个对象中。读放大也可以理解为，需要读取n字节的数据，但是却读取了大于n字节的数据量。

其中，受限于每秒的读写次数(Input/Output Operations Per Second，IOPS)等约束条件的限制，在对基于差量压缩后的数据解压时也存在读放大的问题，其中，IOPS是指每秒钟执行读IO的次数，例如，基于差量压缩后的数据，在读第8个对象时，一种可实施的解压方式为，给出标准对象的起始地址和长度，以及第8个对象的起始地址和长度，单独执行该两个对象的解压，该方式读IO的数量为2。在另一种可实施的解压方式中，可以给出标准对象的起始地址至第8个对象的长度，这种方式，读IO的数量为1。一般的，相对于8个对象整体解压的方式，单独解压(读)两个对象的方式，即IOPS为2相对于IOPS为1时所耗费的调度、计算等资源均较多，因此，对于差量压缩后的数据，通常也采用整块解压的方式，也因此存在读放大、以及因读放大导致的读带宽开销大等问题。

发明内容

本申请提供一种数据处理方法及装置，用于在保证存储资源利用率的基础上，减少解压数据的开销。

第一方面，本申请实施例提供了一种数据压缩方法，该方法可以由服务器执行，在该方法中，该服务器可以先获取压缩后的数据，如可以从服务器的存储介质中获取，也可以是从其他设备接收到的。该压缩后的数据至少包括两部分：第一部分和第二部分，当对该压缩后的数据进行解压缩时，首先对第一部分进行解压缩，之后，对第二部分进行解压缩，其中，第一部分的热度值高于第二部分。

按照第一方面提供的方法，服务器在对压缩后的数据进行解压缩时，由于第一部分排在第二部分前面，并且第一部分的热度值相较于第二部分的热度值高，第一部分被访问的概率也比较高，因此，可以降低解压缩第一部分的读放大比率，而解压缩第二部分的放大比率相对于现有的压缩方式大致相同，从而降低了服务器的平均读放大比率。