[发明专利]重复数据删除硬件加速装置和方法

说明书

技术领域

本发明涉及数据储存领域，具体地，涉及一种利用FPGA进行重复数据删除硬件加速装置和方法。

背景技术

随着数据信息呈爆炸性的增长，企业需要担负由此引发的不断上升的备份及容灾所需的存储的成本压力，为解决这一困局，目前的存储备份系统以及远程灾备系统都采用重复数据删除技术。

重复数据删除也称为智能压缩或单一实例存储，是一种可自动搜索重复数据，将相同数据只保留唯一的一个副本，并使用指向单一副本的指针替换掉其他重复副本，以达到消除冗余数据、降低存储容量需求的存储技术。重复数据删除技术不但可以优化存储空间，提高存储效率，而且可以节省存储或备份的网络带宽和传输时间成本，从而降低企业在数据存储备份领域的管理和时间成本。

按照不同的去重粒度，重复数据删除技术可分为基于文件级的重复数据删除、基于数据块的重复数据删除和基于字节级的重复数据删除。基于文件级的重复数据删除计算处理速度快，但是去重消冗率相对较低；基于字节级的重复数据删除则去重消冗率相对较高，但是需要的计算处理时间也相对较长；基于数据块的重复数据删除则集聚了两者的优点，在去重率和计算处理时间相对均衡。

存储或备份系统产品中常用是基于数据块消冗的重复数据删除技术，而其中最重要的部分主要包括文件数据块切分、数据块指纹计算和相同数据块检索实现。数据块切分的实现决定了删除率指标的高低，而数据块指纹计算和相同数据块检索实现会影响整体性能指标。

在专利号为200910136595.2，申请公开号为CN101882141A的专利中，公开了一种实现重复数据数据删除的方法和系统，公开了一种删除冗余数据的技术方案，但通过软件实现重复数据删除的文件数据块切分、数据块指纹计算和相同数据块检索功能以及压缩功能，需要消耗大量的处理器资源，影响处理器的性能和计算效率。

发明内容

本发明的目的在于，针对上述问题，提出一种重复数据删除硬件加速装置和方法，以实现减少处理器压力，提高删除速度和效率的优点。

为实现上述目的，本发明采用的技术方案是：

一种重复数据删除硬件加速装置，包括：

总线接口接收模块：接收需要处理的数据流，并将该数据流传输给智能切分模块；

智能切分模块：完成对上述数据流的检测和计算，并根据切分规则将该数据流切分；

指纹计算模块：对上述智能切分模块的切分的数据流进行哈希计算，并生成相应的指纹哈希值；

存储RAM模块：暂存上述智能切分模块的分段信息、指纹哈希值；

总线接口发送模块：将上述存储RAM模块中的切分信息、指纹哈希值以传输给内存，并通知处理器进行冗余块检索查询。

根据本发明的优选实施例，所述装置还包括压缩模块：将上述智能切分模块切分的数据进行压缩运算，进一步缩小数据占用空间；所述压缩模块压缩运算后的数据暂存在上述存储RAM模块中。

根据本发明的优选实施例，该装置为基于FPGA电路设计的。

根据本发明的优选实施例，上述智能切分模块中的切分规则，采用内容分块的切分方法，该切分方法通过一个不断滑动的窗口来确定数据块分界点，采用Rabin指纹算法计算滑动窗口的指纹，如满足预定条件，则将该窗口的开始位置作为数据块的结尾，通过滑动窗口并计算指纹实现对数据对象的分块。

根据本发明的优选实施例，上述指纹计算模块中采用Whirlpool算法。

本发明还公开了一种用于重复数据删除硬件加速装置中的重复数据删除方法，包括以下步骤：

上述总线接口接收模块接收到处理器的命令，根据相应的地址信息到内存中读取相应的数据，并将读取的数据组成数据流传递给智能切分模块；

上述智能切分模块对收到的数据流进行切分运算，并根据切分规则，将连续的数据流切分成若干数据块；

上述指纹计算模块将智能切分模块切分后的数据块进行哈希运算，并产生相应的指纹哈希值；

上述智能切分模块的分段信息、指纹计算模块生产的指纹哈希值暂存在存储RAM模块中；

总线接口发送模块从存储RAM模块内取出切分后数据块的信息，并将其传递到内存中，同时发送中断通知处理器做检索操作。

根据本发明的优选实施例，所述智能切分模块切分的数据块可通过压缩模块进行压缩运算，进一步缩小数据占用空间，所述压缩模块压缩运算后的数据暂存在上述存储RAM模块中。