[发明专利]一种分布式文件系统上基于硬件加速卡的压缩解压缩方法

权利要求书

1.一种分布式文件系统上基于硬件加速卡的压缩解压缩方法，其特征在于，所述方法包括：

分布式文件系统中的客户端向数据节点写入数据时：所述客户端在缓存的用户数据达到一个文件块大小时将文件块分成多个分片，调用硬件加速卡对各分片进行压缩，再将压缩后的各分片发送至所述数据节点；所述数据节点按顺序将所述压缩后的各分片写到压缩块文件中，并另外维护一个索引文件；所述索引文件按所述各分片在文件块原始文件中的顺序，记录所述各分片在压缩块文件中的位置偏移量和长度；

分布式文件系统中的客户端从数据节点读取数据时：所述数据节点找到保存读取数据的压缩块文件；所述客户端取回包含所述读取数据的各分片，调用所述硬件加速卡对所述各分片进行解压缩，并组合解压缩后的各分片，将组合后的解压缩数据发送至上层应用；

其中，同一个文件分成的不同文件块存储在不同的数据节点上；

所述硬件加速卡采用PCI接口；

所述硬件加速卡利用一个压缩方法库，实现对特定内存缓冲区中的数据进行压缩或解压缩的功能；

所述硬件加速卡上配备有多个处理芯片，每个芯片可单独进行压缩或解压缩操作，所述芯片由可编程逻辑器件构成；

所述压缩方法库包括各种压缩解压缩算法和驱动程序，具有压缩和解压缩两个接口，两个接口的参数均包括输入缓冲区和输出缓冲区。

2.根据权利要求1所述的分布式文件系统上基于硬件加速卡的压缩解压缩方法，其特征在于，所述各分片为64KB大小的数据。

3.根据权利要求1所述的分布式文件系统上基于硬件加速卡的压缩解压缩方法，其特征在于，所述硬件加速卡利用一个压缩方法库，实现对特定内存缓冲区中的数据进行压缩或解压缩的功能包括：所述压缩方法库将压缩或解压缩算法经用户层编程接口接入；调用驱动程序，经所述用户层编程接口驱动硬件加速卡，完成对特定内存缓冲区中的数据压缩或解压缩功能。

4.根据权利要求3所述的分布式文件系统上基于硬件加速卡的压缩解压缩方法，其特征在于，所述调用所述硬件加速卡对各分片进行压缩包括：所述客户端将所述各分片送入所述压缩方法库压缩接口的输入缓冲区，所述压缩方法库驱动所述硬件加速卡，所述硬件加速卡完成对所述各分片的压缩过程，并将压缩后的所述各分片送入所述压缩方法库压缩接口的输出缓冲区。

5.根据权利要求3所述的分布式文件系统上基于硬件加速卡的压缩解压缩方法，其特征在于，所述调用所述硬件加速卡对所述各分片进行解压缩包括：所述客户端将所述各分片送入所述压缩方法库解压缩接口的输入缓冲区，所述压缩方法库驱动所述硬件加速卡，所述硬件加速卡完成对所述各分片的解压缩过程，并将解压缩后的所述各分片送入所述压缩方法库解压缩接口的输出缓冲区。

6.根据权利要求3-5任一所述的分布式文件系统上基于硬件加速卡的压缩解压缩方法，其特征在于，所述压缩方法库在对数据进行压缩或解压缩时，如果发现所述硬件加速卡出现故障，将采用软件方式对数据进行压缩或解压缩。

7.根据权利要求1所述的分布式文件系统上基于硬件加速卡的压缩解压缩方法，其特征在于，所述压缩后的各分片包括头部信息和压缩数据，所述头部信息包括原始数据大小、压缩数据大小、压缩算法类型。

8.根据权利要求1所述的分布式文件系统上基于硬件加速卡的压缩解压缩方法，其特征在于，所述数据节点找到保存读取数据的压缩块文件包括：所述数据节点根据所述读取数据在文件块原始文件中的偏移位置和长度，在所述索引文件中找到所述读取数据在压缩块文件中的位置。

9.根据权利要求1所述的分布式文件系统上基于硬件加速卡的压缩解压缩方法，其特征在于，所述分布式文件系统的上层应用可独立使用所述硬件加速卡以数据流的形式对数据进行压缩或解压缩。