[发明专利]分布式的重复数据删除系统及其处理方法

说明书

技术领域

本发明涉及一种重复数据删除系统及其方法，特别涉及一种分布式的重复数据删除系统及其处理方法。

背景技术

随着因特网的兴起的缘故，因此许多网络供应者为能有效保存使用者的文件，进而在网络上提供许多存放的空间。以往是由单一服务端提供网络空间的存储服务。然而，单一服务器的运算能力有限，因此演进为多服务器以平行处理的方式来提供存储服务。这种存储方式被称为分布式存储系统。

请参考图1所示，其为现有技术的存储数据示意图。一般而言，分布式存储系统为能完整备份使用者的文件数据。所以会在不同服务端121中存储相同的数据。举例来说，分布式存储系统是具有三个存储服务端121。当客户端111欲将100Mbytes的数据存储至网络空间中，则分布式存储系统会将这100Mbytes分别存储至这三台存储服务端121中。如此一来，所有的存储服务端121就会占用掉300Mbytes的空间。若是每一个客户端111的文件均要备份在每一台存储服务端121上，这对于网络供应者而言不啻为一种沉重的负担。

发明内容

鉴于以上的问题，本发明的目的在于提供一种分布式的重复数据删除系统，用以存储客户端所产生的至少一切分数据块。

本发明所揭露的分布式的重复数据删除系统包括：客户端、派发服务器、重复数据处理装置(De-dup Engine)与存储服务端。客户端对输入文件进行重复数据删除程序(de-duplication)，并生成切分数据块与相应的指纹特征值(Fingerprint)。

派发服务器(Dispatch Server)纪录输入文件的切分数据块的储存位置；派发服务器根据指纹特征值将查询要求转发至相应的重复数据处理装置；重复数据处理装置(Dedup.Engine)从指纹特征查找表(hash table)中查找指纹特征值是否已经存在；若指纹特征查找表中未存储指纹特征值，则重复数据处理装置根据指纹特征值将相应的切分数据块指派到存储服务端，并向客户端发送包含所指派的存储服务端的存储节点信息。

指纹特征值是由SHA-1、哈希程序(Hash)或单向算法所产生，使得每一切分数据块只能对应到唯一的指纹特征值。并且在存储服务端存储新的切分数据块后，重复数据处理装置会运行指纹特征查找表的同步处理，用以更新其它重复数据处理装置的指纹特征查找表。

本发明还提出一种重复数据删除的分布式处理方法，包括步骤：客户端接收输入文件后产生切分数据块，并向派发服务器发送具有指纹特征值的查询要求；派发服务器根据指纹特征值将查询要求转发至相应的重复数据处理装置；重复数据处理装置判断指纹特征值是否已经存在于指纹特征查找表中；若指纹特征查找表中未存储指纹特征值，则重复数据处理装置根据指纹特征值将相应的切分数据块指派到存储服务端，并向客户端发送包含所指派的存储服务端的存储节点信息；客户端根据存储节点信息将切分数据块传送至存储服务端。

本发明所提出的分布式的重复数据删除系统及其方法通过分层指派与重复数据对比的处理，使得每一台数据存储服务器的数据量可以有效的降低，进而提高整体数据量的存储空间。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为现有技术的存储数据示意图；

图2为本发明的架构示意图；

图3为本发明的运作流程示意图。

其中，附图标记

客户端111

服务端121

客户端211

派发服务器212

重复数据处理装置213

存储服务端214

具体实施方式

下面结合附图对本发明的结构原理和工作原理作具体的描述：

请参考图2所示，其为本发明的架构示意图。本发明分布式的重复数据删除系统可以应用于局域网络或因特网之中，而本发明的分布式重复数据删除系统包括：客户端211、派发服务器212(Dispatch Server)、重复数据处理装置213(De-dup Engine)与存储服务端214。客户端211用以接收输入文件，并对输入文件执行切分处理，用以进行重复数据删除的判断。