[发明专利]重复数据删除硬件加速装置和方法

权利要求书

1.一种重复数据删除硬件加速装置，其特征在于，包括：

总线接口接收模块：接收需要处理的数据流，并将该数据流传输给智能切分模块；

智能切分模块：完成对上述数据流的检测和计算，并根据切分规则将该数据流切分；

指纹计算模块：对上述智能切分模块的切分的数据流进行哈希计算，并生成相应的指纹哈希值；

存储RAM模块：暂存上述智能切分模块的分段信息、指纹哈希值；

总线接口发送模块：将上述存储RAM模块中的切分信息、指纹哈希值以传输给内存，并通知处理器进行冗余块检索查询。

2.根据权利要求1所述的重复数据删除硬件加速装置，其特征在于，还包括压缩模块：将上述智能切分模块切分的数据进行压缩运算，进一步缩小数据占用空间；所述压缩模块压缩运算后的数据暂存在上述存储RAM模块中。

3.根据权利要求1或2所述的重复数据删除硬件加速装置，其特征在于，该装置为基于FPGA电路设计的。

4.根据权利要求3所述的重复数据删除硬件加速装置，其特征在于，上述智能切分模块中的切分规则，采用内容分块的切分方法，该切分方法通过一个不断滑动的窗口来确定数据块分界点，采用Rabin指纹算法计算滑动窗口的指纹，如满足预定条件，则将该窗口的开始位置作为数据块的结尾，通过滑动窗口并计算指纹实现对数据对象的分块。

5.根据权利要求3所述的重复数据删除硬件加速装置，其特征在于，上述指纹计算模块中采用Whirlpool算法。

6.一种用于权利要求1至5所述的重复数据删除硬件加速装置中的重复数据删除方法，其特征在于，包括以下步骤：

上述总线接口接收模块接收到处理器的命令，根据相应的地址信息到内存中读取相应的数据，并将读取的数据组成数据流传递给智能切分模块；

上述智能切分模块对收到的数据流进行切分运算，并根据切分规则，将连续的数据流切分成若干数据块；

上述指纹计算模块将智能切分模块切分后的数据块进行哈希运算，并产生相应的指纹哈希值；

上述智能切分模块的分段信息、指纹计算模块生产的指纹哈希值暂存在存储RAM模块中；

总线接口发送模块从存储RAM模块内取出切分后数据块的信息，并将其传递到内存中，同时发送中断通知处理器做检索操作。

7.根据权利要求6所述重复数据删除方法，其特征在于，所述智能切分模块切分的数据块可通过压缩模块进行压缩运算，进一步缩小数据占用空间，所述压缩模块压缩运算后的数据暂存在上述存储RAM模块中。

8.根据权利要求7所述重复数据删除方法，其特征在于，上述切分规则，采用内容分块的切分方法，该切分方法通过一个不断滑动的窗口来确定数据块分界点，采用Rabin指纹算法计算滑动窗口的指纹，如满足预定条件，则将该窗口的开始位置作为数据块的结尾，通过滑动窗口并计算指纹实现对数据对象的分块。

9.根据权利要求8所述重复数据删除方法，其特征在于，上述哈希运算采用Whirlpool算法。