[发明专利]数据压缩、解压方法及相关装置、电子设备、系统

说明书

本申请实施例公开了一种数据压缩、解压方法及相关装置、电子设备、系统，该数据压缩方法通过将原始数据中连续的S个原始数据块中的每一个原始数据块分别通过压缩算法进行独立压缩，得到S个压缩数据块，各个原始数据块为长度不大于L1，各个压缩数据块的长度d不大于L2；进而，在S个压缩数据块中的每一个压缩数据块之后添加长度为L2‑d的附加数据，生成S个长度为L2的规范压缩数据块，该规范数据块为解压装置中的单个解压引擎能够在一个处理周期内处理完的数据块。通过执行本发明实施例的数据压缩方法可以压缩成长度为固定值的规范压缩数据块，使得各个解压引擎在解压该多个规范压缩数据块时可以同步解压，提高数据的解压效率。

技术领域

本发明涉及数据压缩技术领域，尤其涉及一种数据压缩、解压方法及相关装置、电子设备、系统。

背景技术

对于数据量较大的运算，例如，视频、图像处理或者机器学习等运算通常使用硬件芯片进行加速。在硬件芯片进行数据处理的过程中往往需要从外部存储器实时导入大量的数据。例如，机器学习的硬件加速是一种通过硬件芯片来执行机器学习算法而实现计算加速的技术。在运行机器学习算法时，往往需要大量参数。这些参数无法完全保存在硬件芯片内部，因此在机器学习算法运行时，需要从外部实时导入大量参数。由于实时导入大量参数占用芯片的输入/输出(Input/Output，I/O)带宽，当I/O带宽不足时，导致硬件芯片的计算能力空置，降低机器学习算法的运行速度。

通过对外部参数的离线压缩来减小外部参数的体积，并在硬件芯片内通过解压引擎进行实时在线解压还原出外部参数，可以实现在相同的I/O带宽下传输更多的外部参数。然而，解压引擎所能到达的解压速率有限，同样限制了机器学习算法的运行速度。

目前，提高硬件芯片解压速率的常用方法为多引擎并行解压。如图1所示的现有技术中多解压引擎解压的原理示意图。在电子设备对一个待压缩文件进行压缩时，将待压缩文件拆分为等长的多个原始数据块，对该多个原始数据块分别进行压缩生成与各个原始数据块一一对应的压缩数据块；在解压时，首先获取多个压缩数据块，将该多个压缩数据块分配到多个解压引擎中，多个解压引擎还原出多个原始数据块，再将多个原始数据块拼接成原始文件(即待压缩文件)。

可见，现有技术中由于各个原始数据块的压缩率不同，得到的各个压缩数据块的长度不同，使得各个解压引擎分别对各个压缩数据块进行解压所需要的时间不同，解压装置在最后一个压缩数据块完成解压时，才能将各个解压引擎还原出的原始数据块拼接出需要的数据，解压效率低。

发明内容

本发明实施例所要解决的技术问题在于，提供一种数据压缩方法、数据解压方法及相关装置、电子设备、系统，通过规范原始数据压缩生成的压缩数据块的长度，使得各个解压引擎在解压该多个压缩数据块时可以同步解压，提高数据的解压效率。

第一方面，本发明实施例提供了一种数据压缩方法，该方法包括：压缩装置或第一电子设备的处理器将原始数据中连续的S个原始数据块中的每一个原始数据块分别通过压缩算法进行独立压缩，得到该S个原始数据块一一对应的S个压缩数据块，该S个原始数据块中每一个原始数据块为所述原始数据中连续的多个数据，所述连续的多个数据的长度不大于第一长度阈值L1，该S个压缩数据块中的每一个压缩数据块的长度d不大于第二长度阈值L2，S为正整数；进而，在该S个压缩数据块中的每一个压缩数据块之后添加长度为L2-d的附加数据，生成S个长度为L2的规范压缩数据块，其中，该长度为L2的规范数据块为解压装置中的单个解压引擎能够在一个处理周期内处理完的数据块，L1以及L2为大于1的整数，d为大于等于0的整数，L1大于所述L2。可以理解，该数据压缩方法的执行主体可以是第一电子设备或压缩装置，下面以执行主体压缩装置为例来说明。