[发明专利]用于数据去重的方法和设备

权利要求书

1.一种数据去重的方法，包括：

响应于在客户端处接收到待备份的数据，对所述待备份的数据采样以得到采样数据；

生成用于所述采样数据的签名；

向包括多个存储节点的存储集群中的主存储节点发送所述签名，以允许所述主存储节点从所述多个存储节点中选择一个存储节点；

从所述主存储节点接收所选择的存储节点的指示；以及

基于所述指示向所述所选择的目标存储节点发送所述待备份的数据。

2.根据权利要求1所述的方法，其中所述多个存储节点以固定长度的分段来存储数据，并且对所述待备份的数据采样包括：

基于所述固定长度对所述待备份的数据进行分段以得到多个数据段；以及

对所述多个数据段采样以得到多个采样数据段。

3.根据权利要求1所述的方法，其中所述多个存储节点以可变长度的分段来存储数据，并且对所述待备份的数据采样包括执行以下一次或多次：

随机地选择用于所述采样的起始位置；

从所述起始位置起，以与所述可变长度相对应的模式来识别所述待备份的数据的预定数目的锚点；以及

采样紧随所述锚点的数据段作为采样数据段。

4.根据权利要求2或3所述的方法，其中对所述采样数据生成签名包括对所述采样数据段进行数字签名以获得指纹，并且

其中向所述主存储节点发送所述签名包括向所述主存储节点发送所述指纹。

5.根据权利要求1所述的方法，其中对所述待备份的数据采样包括：

响应于所述待备份的数据的大小低于第一预定阈值，对所述待备份的数据进行分段以得到多个数据段作为所述采样数据。

6.根据权利要求5所述的方法，其中对所述采样数据生成签名包括：

对所述多个数据段进行数字签名以获得与所述多个数据段相对应的多个指纹；以及

确定所述多个指纹中指纹值为预定值的第一指纹。

7.根据权利要求2或3所述的方法，还包括：

从所述主存储节点接收用于进行附加数据采样的附加指示；

基于所述附加指示，对所述待备份的数据进行附加采样以得到附加采样数据；

生成用于所述附加采样数据的附加签名；以及

向所述主存储节点发送所述附加签名。

8.一种数据去重的方法，所述方法包括：

在包括多个存储节点的存储集群中的主存储节点处接收来自客户端的针对采样数据的签名，所述采样数据是所述客户端对待备份的数据进行采样而得到；

向所述存储集群中除所述主存储节点外的从存储节点分发所述签名，以允许所述从存储节点确定指示所述采样数据与所述从存储节点中所存储数据的匹配度的远程匹配信息；

基于所述签名，确定指示所述采样数据与所述主存储节点中存储的数据的匹配度的本地匹配信息；

至少基于所述本地匹配信息和所述从存储节点反馈的所述远程匹配信息，从所述多个存储节点中选择一个存储节点以存储所述待备份的数据；以及

向所述客户端发送所选择的目标存储节点的第一指示。

9.根据权利要求8所述的方法，其中向所述从存储节点分发所述签名包括：

响应于接收到来自所述客户端的采样数据段的指纹，向所述从存储节点分发所述指纹，所述采样数据段是对所述待备份的数据分段采样而得到，所述指纹是对所述采样数据段进行数字签名而得到。

10.根据权利要求8所述的方法，其中所述匹配度指示所述采样数据与所述多个存储节点中所存储数据的相似度，并且选择所述目标存储节点包括：

将所述相似度大于第二预定阈值的一个存储节点选择为所述目标存储节点。