[发明专利]基于Gzip硬件实现文本压缩方法

说明书

本发明公开了一种基于Gzip硬件实现文本压缩方法，主要解决目前文本压缩处理速度缓慢、压缩比不高的问题。本发明采用流水结构，将待压缩文本在两个缓存器按照交替读取的方式无延时的读入到文本压缩处理器中，将计算单元同时处理，进行字典存储地址的计算和标记有效信息，在字典中查找历史字符串后用待处理字符串更新字典信息，然后进行匹配字符串和修剪匹配处理，对匹配压缩文本，进行哈夫曼编码，最终获得并输出压缩文本的码流。本发明具有处理速度快，压缩比高，占用资源可扩充，易于不同规模FPGA进行实现。

技术领域

本发明属于通信技术领域，更进一步涉及无损数据压缩技术领域中的一种基于Gzip(GUNzip)硬件实现文本压缩方法。本发明采用并行处理窗口对文本信息进行处理并且以全流水结构完成文本压缩处理，可用于优化文本压缩编码硬件实现方法，尤其适用于实时文本压缩处理。

背景技术

随着大数据时代的来临，大量多媒体数据需要在网络上进行传输，需要占用大量的网络资源，因此数据压缩技术方面的研究十分重要。Gzip作为目前最流行的无损压缩方法，被广泛应用于网络资料下载和数据备份等领域。

Gzip文本压缩方法目前最知名的实现版本存在于由Jean-Loup Gailly和MarkAdler共同开发的开源ZLIB库中，但是该版本是基于传统的软件实现方法，对数据进行顺序处理。该方法存在的不足之处是：该方法在分析数据和压缩编码的过程都需要进行大量的计算以及查找，这样的顺序执行以及大量的运算量，导致处理速度缓慢。

M.S,Abdelfattah、A.Hagiescu和D.Singh在其发表的论文“Gzip on a chip:Highperformance lossless data compression on fpgas using opencl”(in InternationalWorkshop on OpenCL.2014：4)中提出了一种基于异构计算实现文本压缩的方法。该方法提供了一种通过异构语言将中央处理器与硬件器件联合处理的文本压缩实现结构。其中包含的适用于硬件实现的文本压缩方法，将原有串行文本压缩结构修改为并行处理结构，相比于原有软件实现方法的处理速度有所提升。该方法存在的不足之处是：该方法使用异构计算进行实现本文压缩，对硬件实现部分没有实现流水结构，导致该方法仍然存在一定的时钟延迟导致处理吞吐率有所降低。而且该算法只适用于文本压缩中固定大小的计算单元，导致适用规模单一，不能满足对不同压缩比以及不同硬件资源规模消耗的需求。

S.Rigler、W.Bishop和A.Kennings在其发表的论文“FPGA-Based Lossless DataCompression using Huffman and LZ77Algorithms”(In Proceedings of the CanadianConference on Electrical and Computer Engineering(CCECE),pages 1235-1238,April2007)中提出了一种基于硬件编码语言VHDL对字典压缩LZ77编码以及哈夫曼编码的硬件实现方法。该方法通过对应软件代码的实现方案，将文本压缩中关键两部分：字典压缩部分以及哈夫曼编码部分进行硬件实现。该方法存在的不足之处在于：对字典压缩和哈夫曼编码的硬件实现过程采用顺序执行方法，并没有进行结构的优化，处理过程耗费大量时钟周期。而且该方法只对文本压缩中两个关键步骤进行硬件实现，并没有实现完整的文本压缩硬件实现方法。