[发明专利]一种分布式文件系统上基于硬件加速卡的压缩解压缩方法

说明书

本发明公开了一种分布式文件系统上基于硬件加速卡的压缩解压缩方法，属于分布式文件系统技术领域。该技术包括：客户端向数据节点写数据时，先将文件块进行分片，再经硬件加速卡对分片进行压缩，将压缩后的分片发送至数据节点；客户端从数据节点读取数据时，先从数据节点取回包含读取数据的各分片，调用硬件加速卡对各分片解压缩并组合，将组合后的数据发送至上层应用。上层应用可独立使用硬件加速卡以数据流的形式对数据进行压缩或解压缩。本发明提出的技术在分布式文件系统和上层应用中使用硬件加速卡，只需要很小的缓存就能实现数据压缩或解压缩，可以卸载传统压缩方法所消耗的大量CPU资源，并且对系统的用户而言完全透明。

技术领域

本发明涉及分布式文件系统技术领域，尤其涉及一种分布式文件系统上基于硬件加速卡的压缩解压缩方法。

背景技术

随着数据时代的到来，互联网所要处理的数据量日益增大，为了保证数据的高可靠性，当前的分布式文件系统一般采用多副本策略。但是，在大规模机群中这将会带来不可忽略的巨额存储开销，同时对于分布式文件系统之上的系统或应用，如分布式数据库、分布式数据仓库、MapReduce框架或其它应用，也有可能会产生冗余数据，使得数据的膨胀率更高，I/O性能成为系统的瓶颈日益明显，现有的分布式文件系统难以同时满足高性能、高可靠性和低存储开销的需求。

通过对分布式文件系统之上应用的类型进行分析可以得知，这些应用使用或产生的大部分数据是文本信息，特别是离线或在线分析系统中的数据基本都是文本，而文本本身是一种高度可压缩的数据，因此通过引入一种快速的数据压缩方法，可以有效降低数据的存储开销，提高磁盘和网络I/O的有效带宽，从而提高应用的吞吐量。

对于传统的采用软件方式实现数据压缩或解压缩方法，如GZip，该方式虽然能使系统的存储开销减小，但是在压缩或解压缩过程中会占用大量的CPU资源，有可能导致系统的处理能力下降。

发明内容

本发明的目的在于提出一种分布式文件系统上基于硬件加速卡的压缩解压缩方法，能够使得在占用少量系统资源的情况下，完成对用户透明的压缩和解压缩过程，降低系统的存储开销，并且具有良好的容错机制。

为达此目的，本发明采用以下技术方案：

一种分布式文件系统上基于硬件加速卡的压缩解压缩方法，所述方法包括：

分布式文件系统中的客户端向数据节点写入数据时：所述客户端将文件块分成多个分片，调用硬件加速卡对各分片进行压缩，再将压缩后的各分片发送至所述数据节点；所述数据节点将所述压缩后的各分片存储至压缩块文件中，并更新所述数据节点中的索引文件；

分布式文件系统中的客户端从数据节点读取数据时：所述数据节点找到保存读取数据的压缩块文件；所述客户端取回包含所述读取数据的各分片，调用所述硬件加速卡对所述各分片进行解压缩，并组合解压缩后的各分片，将组合后的解压缩数据发送至上层应用。

优选地，所述各分片为64KB大小的数据。

进一步地，所述硬件加速卡采用PCI接口；

所述硬件加速卡利用一个压缩方法库，实现对特定内存缓冲区中的数据进行压缩或解压缩的功能；

所述硬件加速卡上配备有多个处理芯片，每个芯片可单独进行压缩或解压缩操作，所述芯片由可编程逻辑器件构成；

其中，所述压缩方法库包括各种压缩解压缩算法和驱动程序，具有压缩和解压缩两个接口，两个接口的参数均包括输入缓冲区和输出缓冲区；

进一步地，所述硬件加速卡利用一个压缩方法库，实现对特定内存缓冲区中的数据进行压缩或解压缩的功能包括：所述压缩方法库将压缩或解压缩算法经所述用户层编程接口接入；调用驱动程序，经所述用户层编程接口驱动硬件加速卡，完成对特定内存缓冲区中的数据压缩或解压缩功能。