[发明专利]一种分布式文件系统上基于硬件加速卡的压缩解压缩方法

摘要

本发明公开了一种分布式文件系统上基于硬件加速卡的压缩解压缩方法，属于分布式文件系统技术领域。该技术包括：客户端向数据节点写数据时，先将文件块进行分片，再经硬件加速卡对分片进行压缩，将压缩后的分片发送至数据节点；客户端从数据节点读取数据时，先从数据节点取回包含读取数据的各分片，调用硬件加速卡对各分片解压缩并组合，将组合后的数据发送至上层应用。上层应用可独立使用硬件加速卡以数据流的形式对数据进行压缩或解压缩。本发明提出的技术在分布式文件系统和上层应用中使用硬件加速卡，只需要很小的缓存就能实现数据压缩或解压缩，可以卸载传统压缩方法所消耗的大量CPU资源，并且对系统的用户而言完全透明。

主权项

1.一种分布式文件系统上基于硬件加速卡的压缩解压缩方法，其特征在于，所述方法包括：分布式文件系统中的客户端向数据节点写入数据时：所述客户端在缓存的用户数据达到一个文件块大小时将文件块分成多个分片，调用硬件加速卡对各分片进行压缩，再将压缩后的各分片发送至所述数据节点；所述数据节点按顺序将所述压缩后的各分片写到压缩块文件中，并另外维护一个索引文件；所述索引文件按所述各分片在文件块原始文件中的顺序，记录所述各分片在压缩块文件中的位置偏移量和长度；分布式文件系统中的客户端从数据节点读取数据时：所述数据节点找到保存读取数据的压缩块文件；所述客户端取回包含所述读取数据的各分片，调用所述硬件加速卡对所述各分片进行解压缩，并组合解压缩后的各分片，将组合后的解压缩数据发送至上层应用；其中，同一个文件分成的不同文件块存储在不同的数据节点上；所述硬件加速卡采用PCI接口；所述硬件加速卡利用一个压缩方法库，实现对特定内存缓冲区中的数据进行压缩或解压缩的功能；所述硬件加速卡上配备有多个处理芯片，每个芯片可单独进行压缩或解压缩操作，所述芯片由可编程逻辑器件构成；所述压缩方法库包括各种压缩解压缩算法和驱动程序，具有压缩和解压缩两个接口，两个接口的参数均包括输入缓冲区和输出缓冲区。