[发明专利]数据压缩编码的流水线并行加速方法及其系统架构

说明书

本发明公开了数据压缩编码的流水线并行加速方法及其系统架构，所述方法把数据压缩编码过程划分为7个可自由选择的环节；除了数据输入输出环节之外，中间的5个环节分别对应5个流水线部件；前后两个部件之间加入不同的数据缓冲区，形成1条编码流水线；每个数据缓冲区存放特定格式的中间数据，使编码流水线中的各部件能够并行处理，类似于CPU的并行流水线，从而提高编码的速度。本发明同时公开了数据压缩编码流水线的系统架构。本发明的方法、流水线系统及专用编码格式，能够在不影响压缩率的前提下，使数据压缩编码的速度比传统的单任务编码速度成倍数地提高。

技术领域

本发明涉及数据压缩的信息编码技术领域，特别涉及一种数据压缩编码的流水线并行加速方法及其系统架构。

背景技术

随着云计算的迅速发展，数据量正在以惊人的速度增长。作为信息产业的发展趋势，大数据正变得越来越重要。与此同时也出现了问题：如何能够高效地处理这些TB级、PB级甚至更多的大数据？我们需要在网络环境中存储和传输这些大数据，这对存储空间、网络带宽和计算资源都是一种挑战。

数据压缩是节省数据存储和传输成本的一种明智的方法，然而面对大数据，传统的单任务压缩编码技术显得能力不足，压缩速度并不足够快。在压缩率保持不变的前提下，如何成倍地提高压缩速度就成为现实的问题。

首先介绍传统单任务压缩编码技术，这些技术在并行压缩技术下仍然适用：

传统压缩编码包括有损压缩和无损压缩两大类。由于有损压缩的末段总需要一个无损压缩编码过程，因此只须考虑无损压缩编码部分就能影响到压缩速度。

从理论分类的角度看，当前的无损压缩数学模型和方法可以分为如下3种类型：

1) 基于概率统计的压缩，例如哈夫曼编码、算术编码等。这一类型中，基于马可夫链模型的PPM（Partial Prediction Match，部分预测匹配）算法具有良好的压缩率。

2) 基于字典索引的压缩，例如LZ77/LZSS算法、LZ78/LZW算法等。LZ系列的压缩模型具有速度上的优势。

3) 基于符号的顺序和重复情况的压缩，例如游程编码、BWT（Burrows-Wheeler转换）编码等。

当前流行的压缩软件是以上基础压缩理论的复合应用。每种软件通常整合不同的压缩模型和方法来达到更好的压缩率效果。例如WinZip采用了LZSS&Huffman编码，WinRAR采用了LZSS&Huffman编码，Bzip2采用了BWT&Huffman编码，7-zip采用了LZSS&算术编码（区间编码与算术编码本质相同）。还有其他压缩软件，例如PAQ、WinUDA等。它们可能有较高的压缩率，但速度较慢，不适合大数据压缩。

上述传统单任务压缩编码技术可继续在并行压缩中使用。一部分流行的压缩软件新版本中，就采用了一些现有的并行压缩技术。

现有的并行压缩编码技术来源于并行计算方法，主要包括：

1) 多CPU/多核/多线程并行压缩：该方法是把数据分成多块，给多个进程或线程去进行同时压缩编码。这多个进程/线程在现代计算机的多CPU/多核/多线程硬件中能够达到并行加速的效果。

2) GPU/DSP等协处理硬件并行压缩：该方法也是把数据分成多块，给多个线程去进行同时压缩编码，但线程是放到显卡GPU、DSP之类的协处理硬件去执行。

3) 专有硬件电路加速并行压缩：该方法采用FPGA、ASIC等专有硬件电路对数据进行压缩编码，达到并行加速的效果。但这种方法的成本较高，编码的复杂度及压缩率受到硬件电路规模的限制。

以上几种方法都属于并联式的并行压缩编码方法，其不足之处是数据需要分块，相当于压缩用的数据窗口大小限制在数据分块的大小，从而压缩率低于不分块的传统单任务压缩。