[发明专利]一种适用于海量存储系统的重复数据删除方法

权利要求书

1.一种适用于海量存储系统的重复数据删除方法, 其特征在于使用4KB-8KB的块大小对数据流进行分块，这样极小的块就能够确保极高的重复数据删除率，能够较精确的进行重复数据的定位删除；而针对HDD磁盘与内存RAM之间数据传输率的差异而导致的性能影响，通过使用SSD重新构建存储的架构，作为RAM与RAID阵列之间的中转，这样不仅能够提高检索的速率，而且也提高了数据的存储速率，在新的数据块Hash值到来需要进行验证的时候，RAM读取存储在SSD中的Hash索引，以SSD比HDD高出3倍的实际数据传输速率，便得系统的性能得到保证，使用4KB-8KB的小块所产生的相对较大的Hash索引表所引起的性能问题也能够得到解决，针对重复数据删除比以及重复数据删除精确度低的问题，使用Hash值和数据指纹的双重校验，以确保最大程度上的重复数据删除精确度，因为使用SSD作为中间点，保障了I/O速率，因此在双重验证的情况下，也不会影响系统的性能，具体步骤如下：

1）接收到所要进行存储的数据流；

2）传送至Dedupe System模块；

3）数据流按照指定的4KB-8KB大小的块进行截断分解；

4）计算数据块的Hash值；

5）计算数据块的数据指纹；

6）读取SSD中存储的Hash索引表；

7）判别Hash值与Hash索引表中是否重复；

A.重复，（1）读取数据指纹索引表，继续判定数据指纹；（2）数据指纹重复，建立数据连接，数据块不进行存储；（3）数据指纹不重复，存储数据块到SSD，存储数据块Hash值至SSD中的Hash索引表，存储数据块的数据指纹至SSD中的数据指纹索引表；

B.不重复，（1）存储数据块至SSD，存储数据块Hash值至SSD中的Hash索引表，存储数据块的数据指纹至SSD中的数据指纹索引表；（2）将存储于SSD中的数据块传送到RAID阵列磁盘中进行存储。