[发明专利]数据压缩编码的流水线并行加速方法及其系统架构

权利要求书

1.一种数据压缩编码的流水线并行加速方法，其特征在于基于流水线并行加速的数据压缩编码，具体包括下述实现方式的组合：

把数据压缩编码过程划分为7个环节，依次是S0原始数据输入、S1预处理过滤、S2模式匹配、S3指令解析、S4概率统计预测、S5熵编码、S6压缩数据输出；

7个环节之中的S1至S5分别对应5个流水线部件，依次是U1预处理过滤器、U2模式匹配编码器、U3指令解析器、U4概率预测器、U5熵编码器；

5个流水线部件以U1至U5的次序组合，一部分前后两个部件之间加入不同的数据缓冲区，共3个数据缓冲区，最终形成1条编码流水线；

每个数据缓冲区采用多缓冲块，从而支持数据并行读写而不出现共享冲突；

各流水线部件是以“串联”方式组成流水线；

与所述的方法对应的一种数据压缩编码的流水线系统架构，包括：

5个流水线部件，依次是U1预处理过滤器、U2模式匹配编码器、U3指令解析器、U4概率预测器、U5熵编码器，分别对应5个编码环节，依次是S1预处理过滤、S2模式匹配、S3指令解析、S4概率统计预测、S5熵编码；

3个数据缓冲区，具体包括：字符缓冲区，在U1预处理过滤器与U2模式匹配编码器之间；命令缓冲区，在U2模式匹配编码器与U3指令解析器之间；二进制缓冲区，在U5熵编码器之后；

流水线部件U1至U5，以及3个数据缓冲区，以所述的“串联”方式组成1条编码流水线；

所述的数据压缩编码过程划分为7个环节，具体包括：

S0. 原始数据输入环节，即获取未压缩的数据；

S1. 预处理过滤环节，把未压缩的数据转化为BWT编码；

S2. 模式匹配环节，把BWT编码转化为LZ77编码，并进一步转化为命令缓冲区存放的专有32位命令代码字；

S3. 指令解析环节，把LZ77编码进行解析，根据不同的字符串匹配长度、索引大小、单字符或指令属性的不同而进行分类，将数据分流到L0至L4长度模型，以及L1至L5索引模型中，以便提高概率预测的准确性；

S4. 概率统计预测环节，对各类分流过来的数据，分别用多个相互独立的PPM算法模型进行统计和预测，生成提供给熵编码环节的概率数据；

S5. 熵编码环节，根据概率数据，以自适应算术编码算法生成二进制压缩编码；

S6. 压缩数据输出环节，把二进制压缩数据输出；

所述的编码流水线中的部件U1至U5是以“串联”方式组成流水线，同时运行；输入的数据依次通过各部件，每个部件只完成各自不同的处理环节，最后形成压缩数据，即压缩环节之间的纵向并行；

所述的每个数据缓冲区采用多缓冲块中：

数据缓冲区所划分出来的N个读写缓冲块中，N≥2，每个缓冲块同一时间的状态要么是可读，要么是可写，并且能在2种状态之间切换；

缓冲块可循环使用，当缓冲块编号计数器达到缓冲块个数N-1时，计数器再加1会重新变成编号0；

所述的命令缓冲区存放专有的32位命令代码字，包括：

命令代码字以二进制32位为单位，按顺序存放待压缩处理的单个字符、索引、长度、控制指令及其他压缩编码相关的信息；

各种压缩编码相关的信息以统一的编码规则，组织成简化处理的32位命令代码字，编码规则包括：

0～0xff：表示单个字符的ASCII编码值；

0x100～0x1ff：表示控制指令，后面跟32位的控制操作数；

0x80000000～0x80000fff：表示字符串长度编码值，后面跟32位的字符串索引编码值；

索引编码值的编码规则包括：

0～0x7fffffff：2GB以下索引编码值；

0x80000001～0xffffffff：1TB以下索引编码值；

即高31位的索引编码值，后面跟低32位的索引编码值。