[发明专利]数据压缩方法及装置

说明书

本发明提供一种数据压缩方法及装置，所述方法包括：获取磁盘的最大存储量、压缩过程数据吞吐及应用负载数据吞吐，并获取单次压缩倍数及免压缩数据量；基于最大存储量、压缩过程数据吞吐、应用负载数据吞吐、单次压缩倍数及免压缩数据量获取磁盘占用阈值；实时监测磁盘的存储量变化，每当磁盘的存储量达到磁盘占用阈值时，基于单次压缩倍数对免压缩数据之外的存储数据进行压缩。本发明实施例提供的数据压缩方法及装置，通过实时监控磁盘存储量，当磁盘存储量达到磁盘占用阈值时，及时启动数据压缩过程，做到了对数据压缩启动时机的准确把握，实现了在确保磁盘内数据正常使用的前提下，提高了磁盘使用率，实现自动化压缩处理。

技术领域

本发明涉及数据压缩技术领域，尤其涉及一种数据压缩方法及装置。

背景技术

随着监控设备不断产生数据，数据量的增加速度远远超过了存储介质价格的下降速度，此时需要对数据进行压缩处理以降低数据的存储成本。目前对于数据的常用压缩过程是通过针对时间序列的游程编码、二阶差分编码叠加经典无损压缩算法gzip、snappy来实现的，但是一般只能取得10倍左右的压缩成果。

然而对于数据压缩要求比较高的领域，上述方法很难满足需求，例如自动驾驶等应用，每天即可产生T级别的数据，这些时间序列数据产生速度快，且不断产生，虽然大型组织可以负担得起存储所有时间序列数据的费用，但中小型实体可能更愿意在数据和存储成本之间做出一个很好的权衡。同时这些数据价值随时间递减，故对历史数据进行有损压缩是合理的。

然而，为了保证在压缩过程中，需数据量(磁盘的实时数据存储量)不会大于磁盘，需要找到合适的压缩时机。

发明内容

为解决现有技术中的问题，本发明提供了一种数据压缩方法及装置。

本发明提供一种数据压缩方法，包括：获取磁盘的最大存储量、压缩过程数据吞吐及应用负载数据吞吐，并获取单次压缩倍数及免压缩数据量；基于所述最大存储量、所述压缩过程数据吞吐、所述应用负载数据吞吐、所述单次压缩倍数及所述免压缩数据量获取磁盘占用阈值；实时监测所述磁盘的存储量变化，每当所述磁盘的存储量达到所述磁盘占用阈值时，基于所述单次压缩倍数对免压缩数据之外的存储数据进行压缩。

根据本发明提供的一种数据压缩方法，所述基于所述最大存储量、所述压缩过程数据吞吐、所述应用负载数据吞吐、所述单次压缩倍数及所述免压缩数据量获取磁盘占用阈值，具体包括：从磁盘占用阈值区间选择一个值作为所述磁盘占用阈值_，所述磁盘占用阈值区间表示为(D_o,(D_u-D_o)/(1+1/r+V_i/V_r)+D_o]，其中D_u表示所述最大存储量，D_o表示所述免压缩数据量，r表示所述单次压缩倍数，V_i表示所述应用负载数据吞吐，V_r表示所述压缩过程数据吞吐。

根据本发明提供的一种数据压缩方法，所述获取单次压缩倍数，具体包括：从压缩倍数取值区间中选取一个值作为所述单次压缩倍数；所述压缩倍数取值区间表示为[r_min,+∞)，其中r_min＝V_r/(V_r-V_i)，r_min表示最小压缩倍数。

根据本发明提供的一种数据压缩方法，所述免压缩数据为数据产生时间距离当前时刻处于预设时间范围内的数据。

根据本发明提供的一种数据压缩方法，所述免压缩数据对应的数据产生时间与数据压缩过程中当前时间之间的数据存储量小于或等于所述免压缩数据量。

根据本发明提供的一种数据压缩方法，所述基于所述单次压缩倍数对免压缩数据之外的存储数据进行压缩，具体包括：

基于所述单次压缩倍数对免压缩数据之外的存储数据进行整体压缩或分块压缩。