[发明专利]一种数据处理方法、系统及电子设备和存储介质

说明书

本申请公开了一种数据处理方法、系统及一种电子设备和计算机可读存储介质，该方法包括：接收到数据压缩命令后，确定定长压缩存储单元的目标长度和可补余最大长度；从所述数据压缩命令对应的待压缩数据中提取目标压缩数据；其中，所述目标压缩数据的长度为所述目标长度与预设的压缩率的乘积；将所述目标压缩数据压缩至目标定长压缩存储单元中，并判断所述目标定长压缩存储单元的剩余长度是否大于所述可补余最大长度；若否，则进行补余操作；若是，则将所述剩余长度作为所述目标长度；重复上述步骤直至所述数据压缩命令对应的待压缩数据全部压缩完成。本申请提供的数据处理方法，提高了压缩数据的解压速度。

技术领域

本申请涉及存储技术领域，更具体地说，涉及一种数据处理方法、系统及一种电子设备和一种计算机可读存储介质。

背景技术

在大数据时代，越来越多的数据需要越来越大的存储空间，对于存储介质出现了爆炸性需求。如何在同样的存储介质下，存储更多的内容成为目前存储技术发展的方向。目前已经产生了各种成熟并且效果良好的无损数据压缩存储方法，如gzip压缩算法等。

因此，如何提高压缩算法的性能是本领域技术人员需要解决的问题。

发明内容

本申请的目的在于提供一种数据处理方法、系统及一种电子设备和一种计算机可读存储介质，提高了压缩算法的性能。

为实现上述目的，本申请提供了一种数据处理方法，包括：

S101：接收到数据压缩命令后，确定定长压缩存储单元的目标长度和可补余最大长度；

S102：从所述数据压缩命令对应的待压缩数据中提取目标压缩数据；其中，所述目标压缩数据的长度为所述目标长度与预设的压缩率的乘积；

S103：将所述目标压缩数据压缩至目标定长压缩存储单元中，并判断所述目标定长压缩存储单元的剩余长度是否大于所述可补余最大长度；若否，则进行补余操作；若是，则将所述剩余长度作为所述目标长度；

S104：重新进入S102直至所述数据压缩命令对应的待压缩数据全部压缩完成。

其中，所述确定定长压缩存储单元的目标长度和可补余最大长度，包括：

根据存储介质和存储主机的配置信息确定定长压缩存储单元的目标长度和可补余最大长度。

其中，将所述目标压缩数据压缩至目标定长压缩存储单元中，包括：

利用gzip压缩算法将所述目标压缩数据压缩至目标定长压缩存储单元中。

其中，还包括：

接收到数据解压命令后，根据所述定长压缩存储单元的目标长度将所述解压命令对应的压缩数据划分为N个子段；其中，N为正整数；

对N个所述子段并行执行解压操作。

为实现上述目的，本申请提供了一种数据处理系统，包括：

确定模块，用于接收到数据压缩命令后，确定定长压缩存储单元的目标长度和可补余最大长度；

提取模块，用于从所述数据压缩命令对应的待压缩数据中提取目标压缩数据；其中，所述目标压缩数据的长度为所述目标长度与预设的压缩率的乘积；

压缩模块，用于将所述目标压缩数据压缩至目标定长压缩存储单元中，并判断所述目标定长压缩存储单元的剩余长度是否大于所述可补余最大长度；若否，则进行补余操作；若是，则将所述剩余长度作为所述目标长度；

循环模块，用于判断所述数据压缩命令对应的待压缩数据是否全部压缩完成，若否，则重新启动所述提取模块的工作流程。