[实用新型]一种硬件LZ77压缩实现系统

说明书

技术领域

本实用新型涉及数据压缩，特别是采用乒乓操作的硬件LZ77压缩实现系统及其实现方法。

背景技术

随着信息和通信技术的迅猛发展，数据交换量日益增大，大规模的数据处理也变的更加的繁杂。对于如此庞大的数据必须进行有效的压缩，才能够有效的减少数据的存储量，最大限度的合理利用有限的数据传输带宽。除此之外，压缩后的数据在一定程度上是对原始数据的加密，能够更好的保护数据。

数据压缩可分成两种类型，一种叫做无损压缩，另一种叫做有损压缩。

无损压缩是指使用压缩后的数据进行重构(或者叫做还原，解压缩)，重构后的数据与原来的数据完全相同；无损压缩用于要求重构的信号与原始信号完全一致的场合。一个很常见的例子是磁盘文件的压缩。根据目前的技术水平，无损压缩算法一般可以把普通文件的数据压缩到原来的1/2～1/4。大多数压缩程序使用基于自适应字典的LZ算法来缩小文件。“LZ”指的是此算法的实用新型者Lempel和Ziv，“字典”指的是对数据块进行归类的方法。

目前，绝大部分的压缩还是有软件实现，对数据的压缩处理操作仍然是由中央处理器（CPU）来完成的，当面对海量数据处理时，必然会占用大量的CPU资源，使得在进行数据压缩的同时进行其他操作变成了难题。除此之外，软件压缩是一种顺序进行的操作，无法取得高效率的并行运算。

因此，如何有效的提高压缩算法的效率，减轻海量数据压缩给CPU带来的压力成为了现有的软件压缩解压缩技术的主要问题。

实用新型内容

本实用新型要解决的一个技术问题是提供一种硬件LZ77压缩实现系统和方法，能够有效的提高LZ77压缩算法的效率，将CPU从海量数据压缩中解脱出来。

本实用新型为实现上述目的，采用如下技术方案：

一种硬件LZ77压缩实现系统，其特征在于，该系统包括：

PCIE接口模块，用于实现与上位机的通信；

数据直接访问模块DMA，用于实现数据的直接访问；

数据打包解包模块，用于实现数据通信时对数据的组包和解包操作；

数据写入缓存模块，用于缓存待压缩的数据；

压缩算法模块，用于实现重复字符串的查找，计算重复字符串的匹配长度，进行LZ77编码；

字典模块，用于存储历史字符串；

非定长码元拼接模块，用于将非定长的编码高速拼接成定长的数据块；

数据读出缓存模块，用于缓存压缩后的数据。

其进一步特征在于，所述的数据写入缓存模块包括：

两个如随机存取存储器RAM或者先入先出存储器FIFO的数据存储装置，用于存储待压缩的数据；

多路选择器，用于选择将待压缩的数据存储在两个数据存储装置中的其中一个数据存储装置；

通过多路选择器和两个数据存储装置实现数据写入的乒乓操作。

所述的压缩算法模块包括：

数据暂存模块，用于临时暂存一定量的数据；

字典读取模块，用于产生字典的读控制信号和读取字典中的数据；

最大长度匹配模块，用于计算出现重复字符串时的最大重复长度；

LZ77编码模块，用于对待压缩数据进行相应的编码；

字典更新模块，用于产生字典的写控制信号和更新字典中的数据。

根据权利要求1所述的硬件LZ77压缩实现系统，其特征在于，所述的字典模块包括：

哈希表模块，用于存储最新的历史字典信息；

字典链表模块，用于存储其他的历史字典信息；

索引初始化模块，用于初始化哈希表模块；

链表初始化模块，用于初始化字典链表模块。

所述的非定长码元拼接模块包括：

非定长码元到定长码元转换模块，用于将非定长的数据编码拼接成定长的数据；

文件大小计算模块，用于计算文件压缩后的数据个数，并与压缩前的文件数据个数比较；

压缩模式选择模块，根据文件压缩前和压缩后的数据个数的多少选取压缩模式；

数据直接存储模块，用于当数据选择直接存储压缩模式时对数据的操作。

所述的数据读出缓存模块包括：

两个如随机存取存储器RAM或者先入先出存储器FIFO的数据存储装置，用于存储压缩后的数据；

写入数据多路选择器，用于选择将压缩后的数据写入两个数据存储装置中的其中一个数据存储装置；