[发明专利]数据压缩方法、装置、电子设备及计算机可读存储介质

说明书

本发明实施例公开了一种数据压缩方法、装置、电子设备及计算机可读存储介质，所述方法包括：响应于接收到数据压缩指令，获取待压缩数据文件，并对所述待压缩数据文件进行均匀采样，得到采样数据文件；根据所述采样数据文件训练得到数据压缩字典；利用所述数据压缩字典对于所述待压缩数据文件进行压缩，得到压缩数据文件。该技术方案能够有效提升数据压缩率，减少用户的干预，降低对于字典数据的要求，同时由于无需对于数据块进行缓存再训练字典，因此可以大大降低数据内存开销。

技术领域

本发明实施例涉及数据处理技术领域，具体涉及一种数据压缩方法、装置、电子设备及计算机可读存储介质。

背景技术

随着数据技术的发展，大量的数据库被广泛使用，为了节省存储空间，很多数据库都会对存储数据文件内的数据使用通用无损压缩算法进行压缩。现有技术中存在以下几种压缩方法：1、使用通用无损压缩算法对数据库中的每个数据块进行独立压缩，该处理方式在每个压缩数据块内独立维护一个压缩字典，由于压缩字典的存储会带来额外的空间开销，而且压缩字典的采样范围局限于单个数据块内部，因此导致该处理方式存储空间成本较高，数据压缩率较低；2、使用用户预先定义的共享字典对数据块进行压缩，该处理方式不需要在数据压缩时进行训练来得到字典，可以节约字典训练时间，但该处理方式的压缩效果完全取决于预先定义的字典数据，因此对于字典数据的要求较高；3、先将数据块缓存在内存中，再对缓存数据块进行字典训练和数据压缩，相对于处理方式1，该处理方式能够有效提升数据压缩率，相对于处理方式2，该处理方式能够减少用户的干预，对于字典数据的要求低，但该处理方式由于需要将数据块全部缓存在内存中再训练字典，因此字典训练的内存开销较大。

发明内容

本发明实施例提供一种数据压缩方法、装置、电子设备及计算机可读存储介质。

第一方面，本发明实施例中提供了一种数据压缩方法。

具体的，所述数据压缩方法，包括：

响应于接收到数据压缩指令，获取待压缩数据文件，并对所述待压缩数据文件进行均匀采样，得到采样数据文件；

根据所述采样数据文件训练得到数据压缩字典；

利用所述数据压缩字典对于所述待压缩数据文件进行压缩，得到压缩数据文件。

结合第一方面，本发明实施例在第一方面的第一种实现方式中，所述待压缩数据文件为树形数据存储结构，其中，所述树形数据存储结构包括作为根存储级和枝存储级的数据索引部分和作为叶存储级的数据部分。

结合第一方面和第一方面的第一种实现方式，本发明实施例在第一方面的第二种实现方式中，所述响应于接收到数据压缩指令，获取待压缩数据文件，并对所述待压缩数据文件进行均匀采样，得到采样数据文件，包括：

响应于接收到数据压缩指令，获取待压缩数据文件；

从所述待压缩数据文件的根存储级开始进行分级均匀采样，直至到达所述数据索引部分的末级存储级，得到采样索引数据；

根据所述采样索引数据在所述作为叶存储级的数据部分确定采样数据，得到采样数据文件。

结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，所述从所述待压缩数据文件的根存储级开始进行分级均匀采样，直至到达所述数据索引部分的末级存储级，得到采样索引数据，被实施为：

从所述待压缩数据文件的根存储级开始，确定当前存储级数据节点的采样目标总数量x，以及所述当前存储级中待采样的数据节点数量t；

若所述采样目标总数量x小于所述待采样数据节点数量t，从t个待采样数据节点中随机采样r个索引数据，得到当前存储级数据节点的采样索引数据；