[发明专利]在分布式数据库中管理完整性的方法和系统

说明书

相关申请的交叉引用

本申请与以下申请相关：

在2010年9月24日递交的、名称为“System and method for enhancing the availability of a distributed object storage system during a partial database outage”的序列号为No.12/889,762的申请。

技术领域

本发明总体上涉及分布式计算机网络中的高有效性、可靠性和永久性数据存储的技术。

背景技术

存在“固定内容”的存档存储设备以高有效性、可靠性和永久性的方式替换或补充传统的磁带和光学存储解决方案的需求。术语“固定内容”一般是指期望为不会因为参考或其他目的改变而保持的任意类型的数字信息。这样的固定内容的例子包括，例如电子邮件、文档、诊断图像、检查图像、录音、电影和视频等。传统的独立节点冗余阵列（RAIN）存储方法作为创建用于存储这些固定内容信息资产的大型在线存档的选择的架构呈现。根据需要允许节点加入或离开群集，RAIN架构将存储群组与一个或多个节点的故障隔离。通过复制多个节点上的数据，RAIN-型存档可以自动为节点故障或移除进行补偿。一般地，RAIN系统很大程度上表现为在封闭系统内由相同元件设计的硬件设施。

已知的现有技术中的存档存储系统一般存储每个文件的元数据及其内容。元数据是用于描述该数据的数据元素。一般，元数据描述存储在系统中的实际数据的内容、质量、条件和其他特征。在分布式存储设备情景中，文件的元数据包括，例如文件名称、文件块存储地点、文件创建日期、保留数据等。为实现文件的可靠性和有效性的存储系统，可靠性文件存储设备是必要的，并且元数据的完整也是系统的重要部分。然而，在现有技术中，在潜在的不可靠节点的分布式系统之间分布元数据是不可能的。本发明解决本领域中的这种需求。

在共有的专利号为No.7,155,466、No.7,657,581和No.7,657,586的美国专利中描述了一种改进的存档存储系统。该系统提供了一种跨分布式节点集的分布式对象存储。根据美国专利No.7,657,581，对称节点的存档存储群组包括组织和提供访问元数据的“元数据管理”系统，优选以元数据对象的形式。每个元数据对象具有唯一名称，并且元数据对象被组织成区域。在一个实施例中，通过哈希一个或多个对象的属性（例如，对象名称）并获取结果哈希值的给定数量的比特来选择区域。比特的数量可以由配置参数来控制。在该方案中，每个区域冗余存储，并且区域包括一组区域副本。特别的，存在区域的一个授权副本以及零个或多个备份副本。如所描述的，副本的数量可以由配置参数来控制，有时候副本的数量指的是元数据保护层（“MDPL”）的数量。从而，例如，在该方案的一个实施例中，区域包括授权区域副本及其MDPL-1个备份副本。区域副本在群组节点之间的分布可以平衡每个节点上的授权区域副本的数量和每个节点上的区域副本的总数量。

以上描述的元数据管理系统的另一方面是指识别为每个区域的每个副本负责的节点的区域“映射”。区域映射可以通过包括元数据管理系统的过程访问。区域映射中的区域表示一组哈希值，并且该组中的所有区域覆盖所有可能的哈希值。通过号码来识别区域，该号码来源于获取的哈希值的比特的数量。使用名称空间分区方案来明确区域映射中的区域并控制给定区域的所有权。该分区方案在数据库中实现。在该方案中，区域副本具有三个状态之一：“授权的”、“备份的”和“不完全的”。如果区域副本是授权的，则将对该区域的所有请求发送到该副本，并且每个区域存在一个授权副本。如果区域副本是备份（或者不完全的），则副本接收（来自授权区域管理过程的）更新请求。如果正在加载元数据却还未同步副本（一般地是与相应的授权区域副本同步），则区域副本是不完全的。在同步完成之前，不完全区域副本是无法升级至另一状态的，当同步完成时，副本变成备份副本。