[发明专利]数据压缩编码的流水线并行加速方法及其系统架构

摘要

本发明公开了数据压缩编码的流水线并行加速方法及其系统架构，所述方法把数据压缩编码过程划分为7个可自由选择的环节；除了数据输入输出环节之外，中间的5个环节分别对应5个流水线部件；前后两个部件之间加入不同的数据缓冲区，形成1条编码流水线；每个数据缓冲区存放特定格式的中间数据，使编码流水线中的各部件能够并行处理，类似于CPU的并行流水线，从而提高编码的速度。本发明同时公开了数据压缩编码流水线的系统架构。本发明的方法、流水线系统及专用编码格式，能够在不影响压缩率的前提下，使数据压缩编码的速度比传统的单任务编码速度成倍数地提高。

主权项

1.一种数据压缩编码的流水线并行加速方法，其特征在于基于流水线并行加速的数据压缩编码，具体包括下述实现方式的组合：把数据压缩编码过程划分为7个环节，依次是S0原始数据输入、S1预处理过滤、S2模式匹配、S3指令解析、S4概率统计预测、S5熵编码、S6压缩数据输出；7个环节之中的S1至S5分别对应5个流水线部件，依次是U1预处理过滤器、U2模式匹配编码器、U3指令解析器、U4概率预测器、U5熵编码器；5个流水线部件以U1至U5的次序组合，一部分前后两个部件之间加入不同的数据缓冲区，共3个数据缓冲区，最终形成1条编码流水线；每个数据缓冲区采用多缓冲块，从而支持数据并行读写而不出现共享冲突；各流水线部件是以“串联”方式组成流水线；与所述的方法对应的一种数据压缩编码的流水线系统架构，包括：5个流水线部件，依次是U1预处理过滤器、U2模式匹配编码器、U3指令解析器、U4概率预测器、U5熵编码器，分别对应5个编码环节，依次是S1预处理过滤、S2模式匹配、S3指令解析、S4概率统计预测、S5熵编码；3个数据缓冲区，具体包括：字符缓冲区，在U1预处理过滤器与U2模式匹配编码器之间；命令缓冲区，在U2模式匹配编码器与U3指令解析器之间；二进制缓冲区，在U5熵编码器之后；流水线部件U1至U5，以及3个数据缓冲区，以所述的“串联”方式组成1条编码流水线；所述的数据压缩编码过程划分为7个环节，具体包括：S0. 原始数据输入环节，即获取未压缩的数据；S1. 预处理过滤环节，把未压缩的数据转化为BWT编码；S2. 模式匹配环节，把BWT编码转化为LZ77编码，并进一步转化为命令缓冲区存放的专有32位命令代码字；S3. 指令解析环节，把LZ77编码进行解析，根据不同的字符串匹配长度、索引大小、单字符或指令属性的不同而进行分类，将数据分流到L0至L4长度模型，以及L1至L5索引模型中，以便提高概率预测的准确性；S4. 概率统计预测环节，对各类分流过来的数据，分别用多个相互独立的PPM算法模型进行统计和预测，生成提供给熵编码环节的概率数据；S5. 熵编码环节，根据概率数据，以自适应算术编码算法生成二进制压缩编码；S6. 压缩数据输出环节，把二进制压缩数据输出；所述的编码流水线中的部件U1至U5是以“串联”方式组成流水线，同时运行；输入的数据依次通过各部件，每个部件只完成各自不同的处理环节，最后形成压缩数据，即压缩环节之间的纵向并行；所述的每个数据缓冲区采用多缓冲块中：数据缓冲区所划分出来的N个读写缓冲块中，N≥2，每个缓冲块同一时间的状态要么是可读，要么是可写，并且能在2种状态之间切换；缓冲块可循环使用，当缓冲块编号计数器达到缓冲块个数N‑1时，计数器再加1会重新变成编号0；所述的命令缓冲区存放专有的32位命令代码字，包括：命令代码字以二进制32位为单位，按顺序存放待压缩处理的单个字符、索引、长度、控制指令及其他压缩编码相关的信息；各种压缩编码相关的信息以统一的编码规则，组织成简化处理的32位命令代码字，编码规则包括：0～0xff：表示单个字符的ASCII编码值；0x100～0x1ff：表示控制指令，后面跟32位的控制操作数；0x80000000～0x80000fff：表示字符串长度编码值，后面跟32位的字符串索引编码值；索引编码值的编码规则包括：0～0x7fffffff：2GB以下索引编码值；0x80000001～0xffffffff：1TB以下索引编码值；即高31位的索引编码值，后面跟低32位的索引编码值。