[发明专利]在处理器网格中的分布式数据的去重复数据

说明书

用于处理器网格中的分布式数据的去重复数据的实施例。输入数据在处理器上被接收。输入数据被分割成多个相似性单元。为所述相似性单元之一计算对应的去重复数据元数据切片和所有者处理器。将相似性单元之一的代表值和相应的摘要值发送给所有者处理器。所有者处理器用于在所述对应的去重复数据元数据切片中搜索代表值，并向所述处理器发送计算出的相同数据部分的说明和所有者处理器。处理器用于将计算出的相同数据部分的名义信息发送给所计算出的相同数据部分所参考的数据的所有者处理器。

技术领域

本发明总体上涉及计算机，并且更具体地涉及计算环境中的处理器网格的分布式数据的去重复数据。

背景技术

在当今社会，计算机系统是司空见惯的。计算机系统可以在工作场所，家中或学校中找到。计算机系统可以包括数据存储系统或磁盘存储系统来处理和存储数据。大量的数据必须每天处理，目前的趋势表明这些数据量在可预见的未来将持续增加。减轻该问题的有效方法是使用去重复数据。去重复数据系统的基本思想是利用可用数据的大部分被一次又一次地复制的事实，通过定位重复数据并仅存储其第一次出现。随后的副本将替换为指向存储的事件的指针，如果数据确实重复，则会显着降低存储要求。

发明内容

提供了处理器网格中的分布式数据的去重复数据的实施例。在一个实施例中，仅作为示例，在摄取处理器上接收输入数据。输入数据被分割成多个相似性单元。计算相似性单元之一的对应去重复数据元数据切片和所有者处理器。将相似性单元之一的代表值和对应的摘要值发送给所有者处理器。所有者处理器用于在去重复数据元数据切片中搜索代表值，并且向摄取处理器发送计算出的相同数据部分的说明和所有者处理器。摄取处理器用于将计算出的相同数据部分的名义信息发送到由计算出的相同数据部分参考的数据的所有者处理器。计算出的相同数据部分引用的数据的所有者处理器用于以存储有由相同数据部分引用的数据的存储块的信息来响应摄取处理器。

除了上述示例性方法实施例之外，提供其他示例性系统和计算机产品实施例并提供相关优点。

附图说明

为了容易理解本发明的优点，将通过参考附图中示出的具体实施例来呈现上面简要描述的本发明的更具体描述。应理解的是，这些附图描绘了本发明的实施例并不因此被认为是对其范围的限制，将通过使用附图以更多的特征和细节来描述和解释本发明，其中：

图1是示出具有其中可以实现本发明的各方面的示例存储设备的计算系统环境的框图；

图2是示出其中可以实现本发明的各方面的数据存储系统的硬件结构的框图；

图3是用于将去重复数据元数据存储在无共享架构中的处理器的网格中的示例性实施例的框图图示，其可以实现本发明的各方面；

图4是用于处理器的无共享网格中的全局分布式数据去重复数据的示例性方法的框图，该方法包括消息的示例性体系结构和序列，再次申明可以在其中实现本发明的各方面；

图5A是根据本发明的一个实施例的用于处理器的无共享网格中的全局分布式数据的去重复数据的示例性方法的流程图；

图5B是先前在图5A中首先呈现的流程图的继续；

图6是根据本发明的一个实施例的将代表值一致映射到去重复数据元数据切片的示例性的框图；

图7是用于当处理器被添加到处理器网格时重新平衡去重复数据元数据的示例性实施例的框图，这里沿着搜索链找到输入代表值，再次可以实现本发明的各方面；

图8是当处理器被添加到处理器网格时重新平衡去重复数据元数据的附加示例性实施例的框图，其中处理器网格中搜索链到达完全重新平衡的处理器并且没有找到输入代表值，再次申明可以实现本发明的各方面；

图9是根据本发明一个实施例的用于在处理器网格中存储去重复数据元数据的示例性方法的流程图。