[发明专利]一种自适应数据压缩和解压缩的方法和系统及存储装置

说明书

技术领域

本发明主要涉及到数据存储领域，特指一种存储系统的自适应数据压缩和解压缩方法和系统及存储装置。

背景技术

随着数据量的爆发式增长，存储系统中存储的数据量越来越多，根据IDC的统计，2012年全球数据总量达到上万亿GB，超过95%的数据为非结构化数据；在许多以数据为核心的计算中心里，每天新产生的数据量已经达到100GB甚至1TB。与此同时，新型存储介质及其技术，如闪存（flash memory）、相变存储（phase change memory）等，也在不断发展。现有的很多计算机系统均利用数据压缩技术对存储数据进行压缩，有效地降低系统的存储成本，并能潜在减少对存储介质的写操作，提高存储介质的寿命和系统的访问性能。

从压缩技术的层次区分，数据压缩技术的应用主要分为两种：基于传输的数据压缩和基于存储的数据压缩。

基于传输的数据压缩技术主要是发送端在进行数据传输之前，将数据分段并进行压缩，接收端收到数据之后，进行解压缩，并传递给用户。由于解压缩后的数据不要求被存储在永久介质中，在传输结束之后，数据的压缩元数据即可丢弃。由于基于传输的压缩技术不考虑数据在永久存储介质中的索引，因此，难以应用于存储系统中。

基于存储的数据压缩技术通常实现在存储系统内。传统的基于存储的数据压缩技术方法为存储系统在接收到写入的数据流时，将该数据流分割为多个数据段，然后对每个数据段进行压缩，最终数据以数据压缩段的形式存储在存储设备或者存储介质中。基于存储的数据压缩技术改变了存储数据段的大小，用户读取数据的地址也因此被改变，为了建立原始数据到压缩后数据的地址映射，基于存储的数据压缩技术为数据压缩段建立元数据索引结构。当一段数据被读取时，存储系统通常先访问该元数据索引结构，将数据的地址映射到压缩数据的地址。

尽管已有的一些存储系统具有一定程度的压缩能力，但是这些已有技术通常存在以下问题： 传统的基于存储的数据压缩技术通常只能在存储系统运行过程中固定地使用一种压缩算法、参数，无法做到在线变更其压缩算法、参数；然而压缩算法的压缩率（本文中所提到的压缩率均为数据压缩后的物理大小与压缩前的物理大小的比值）和存储控制器负载需求成反比关系，即在降低压缩率的同时会很大程度提高存储控制器的负载，这样讲造成传统的基于存储的数据压缩技术无法兼顾提高压缩率和减轻存储控制器负载两个指标。当采用压缩率高的压缩算法时，不断的数据压缩工作会让存储系统负载超荷，当采用低压缩率的压缩算法时，闲置的系统负载能力又无法提高数据的压缩率。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种能够根据存储系统预设压缩率、存储控制器负载情况，自适应选择对应压缩算法和压缩参数，既能满足存储系统的压缩率要求又能减少存储控制器负载，从而提高存储系统性能的自适应数据压缩和解压缩方法和系统及存储装置。

为了解决上述技术问题，本发明采用以下技术方案：

   一种自适应数据压缩和解压缩的方法，其步骤为：

（1）压缩：根据存储系统设定的压缩率目标、存储控制器的负载情况为需要压缩的数据段自适应选择对应的数据压缩算法、参数进行数据压缩；将压缩后的数据段和压缩算法、参数一并写入存储设备或者存储介质中；

（2）解压缩：获取需要解压缩数据段的压缩算法、参数，并使用与所获得的压缩算法、参数对应的解压缩算法为相应的数据段解压缩。

作为本发明的进一步改进：

所述步骤（1）中进行压缩的具体流程为：

（1.1）存储控制器为每个已存储数据段或已存储数据压缩段与每个卷或文件的逻辑数据段之间建立映射关系，为所有映射关系建立索引结构，并将该索引结构写入存储设备或存储介质中；

（1.2）存储控制器接收主机端的写入数据流，将该写入数据流分成一个或者多个写入数据段；所述存储控制器根据存储系统设定的压缩率目标、存储控制器当前的负载情况为每一个写入数据段自适应选择对应的压缩算法、参数进行数据压缩，产生压缩数据段；

（1.3）将所述压缩数据段写入存储设备或存储介质，并更新所述索引结构，将该索引结构的更新部分写入存储设备或存储介质中。