[发明专利]存储系统压缩数据的方法、装置、设备及可读存储介质

说明书

本发明公开了一种存储系统压缩数据的方法，包括接收待压缩的数据块；将各个数据块按照预定压缩算法进行压缩，且并行获得采样数据块；采用多种不同的压缩算法对采样数据块进行压缩获得对应的压缩率；采用对应的压缩率最小的压缩算法为新的预定压缩算法，并为后续接收到的数据块进行压缩，以便对压缩完成的数据块进行存储写盘。本发明提供的方法，在对数据块进行压缩的同时，还对数据块进行采样分析，选出压缩率最小的压缩算法为后续数据块进行压缩，在最大程度上减小压缩后的数据块的占用空间，提高存储系统的压缩性能。本发明还提供了一种存储系统压缩数据的装置、设备以及计算机可读存储系统，具有上述有益效果。

技术领域

本发明涉及计算机技术领域，特别是涉及一种存储系统压缩数据的方法、装置、设备及计算机可读存储介质。

背景技术

压缩是存储系统中的一个基本功能，是当前主流存储中设备中必备的一个功能点。压缩功能开启的优点，可以使主机端下发的数据在进行实际存盘时，变得更小，从而可以有效减少对磁盘空间的占用量；相对应的开启压缩的缺点是由于压缩本身需要占用系统资源，且需要耗费一定的时间，因此进行数据压缩会降低存储系统的写性能。

另一方面，不同的数据类型，由于数据结构的差异，其压缩率也会有很大的差异，因此大小相同但类型不同的数据，在经过压缩后，往往获得的压缩后的数据大小会有很大差别，例如普通的文本类型的数据，往往经过压缩后，大小可减少60％，甚至更多；而一些视频类型的数据，在经过压缩后，大小几乎不变。因此如果上层下发的数据压缩率很低，即使经过压缩也无法节省空间，反而会因为压缩造成系统资源无意义的损耗。

发明内容

本发明的目的是提供一种存储系统压缩数据的方法、装置、设备及计算机可读存储介质，解决了采用压缩功能而无法节省压缩空间的问题。

为解决上述技术问题，本发明提供一种存储系统压缩数据的方法，包括：

接收待压缩的数据块；

将各个所述数据块按照预定压缩算法进行压缩，且并行进行对接收到的数据块采样的操作，获得采样数据块；

采用多种不同的压缩算法对所述采样数据块进行压缩，获得每种压缩算法压缩所述采样数据块对应的压缩率；

采用对应的压缩率最小的压缩算法更新为新的所述预定压缩算法，并为后续接收到的数据块进行压缩，以便对压缩完成的数据块进行存储写盘。

其中，所述进行对接收到的数据块采样的操作包括：

周期性的对各个卷中接收的数据块进行采样操作，以便按照预设周期对所述预定压缩算法进行更新调整。

其中，在获得每种压缩算法对应的压缩率之后，还包括：

每个卷中，若每种压缩算法对相同的采样数据的压缩率均大于预设压缩率阈值，则不对所述卷中后续接收到的数据块进行压缩，并对所述数据块进行存储写盘。

其中，在获得每种压缩算法对应的压缩率之后，还包括：

每个卷中，对于相同的采样数据块，当存在两种的压缩算法的压缩率比其他压缩算法的压缩率都小，且两个所述压缩率的差值在预设差值范围内，则选取占用存储系统资源最少的压缩算法作为新的预定压缩算法。

其中，所述采用多种不同的压缩算法对所述数据块进行压缩包括：

采用至少包括GZIP压缩、LZO压缩、ZIPPY压缩的多种压缩算法对所述采样数据块进行压缩。

本发明还提供了一种存储系统压缩数据的装置，包括：

数据块接收模块，用于接收待压缩的数据块；