[发明专利]一种大规模分布式存储系统的节点路由的方法

说明书

技术领域

本发明涉及分布式存储系统的软件领域，尤其涉及一种大规模分布式存储系统的节点路由的方法。

背景技术

传统的网络存储系统采用集中的存储服务器存放所有数据，一旦其中某台存储服务器故障，则存储在该存储服务器上的数据就不能用，随着数据量的增大，更难管理和应用，成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。亟待寻求一种方法解决大规模分布式数据的存储问题。

发明内容

本发明提供的一种大规模分布式存储系统的节点路由的方法，克服了现有技术中缺点与不足，解决了超大规模存储问题。

为了达到上述目的，本发明是通过以下技术方案实现的：

本发明提供一种大规模分布式存储系统的节点路由的方法，包括以下步骤：

步骤1：存储节点加入分布式存储集群时通过一致性哈希算法自动生成一个节点ID；

步骤2：存储节点在网络中进行迭代查询，把迭代查询过程中发现的节点与存储节点的节点ID之间的距离最近的10个节点记入存储节点路由表；

步骤3：扩张存储节点路由表，获得路由树；

步骤4：在节点离开分布式存储集群后，存储节点会删除路由树中的该节点，若离开的节点为临近节点，则同时发起一次搜索，若当前存储集群中的存储节点副本数不足3，则把自己的存储节点信息复制一份给临近节点的替代节点。

进一步地，在步骤1之后，还包括：在网络中进行搜索节点ID，发现节点ID有冲突后重新通过一致性哈希算法计算生成存储节点ID。

进一步地，所述的节点ID之间的距离为通过异或运算distance（x，y）=x⊕y得到的数转换为十进制值。

进一步地，所述的节点ID的范围是[0，2¹²⁸-1]。

进一步地，所述步骤3包括：把存储节点路由表中节点的周边节点中的存储节点插入到本节点中，删除分布式存储集群中因为本地插入而多余的存储节点副本，获得路由树。

进一步地，所述的路由树为完全二叉树，所述的完全二叉树为前四层是完整的二叉树，从第五层起每层最多10个节点，其中5个为叶子节点，5个为非叶子节点。

进一步地，所述的迭代查询包括：

步骤11：向存储节点路由表中距离存储节点最近的A节点发送搜索请求；

步骤22：A节点收到搜索请求后，返回包含A节点已知与目标最近的包含B节点的10个节点的搜索结果报文；

步骤33：若存储节点路由表未满，则把A节点返回的节点写入存储节点路由表；

步骤44：继续在B节点发送搜索请求；

步骤55：迭代运行步骤22、步骤33、步骤44，最终找到存储节点的位置。

进一步地，所述把存储节点路由表中节点的周边节点中的存储节点插入到本节点中，包括：每个叶子节点最多保存10个节点，若叶子节点不满，直接插入；若叶子节点满且当前路由层总节点数不足10，则分列；若叶子节点满且当前路由层总节点数满10，则插入失败。

进一步地，所述步骤4中的删除路由树中的该节点的方法包括：如果删除后树上兄弟叶子节点和当前叶子节点总数大于10，则不变；否则，就和兄弟叶子节点归并。

进一步地，所述的存储节点副本数始终为3。

本发明所提供的一种大规模分布式存储系统的节点路由的方法，具有如下优点：

1.每个存储节点上的路由表规模小，可以支持2¹²⁸规模的超大规模存储集群；

2.节点在任意时间加入或离开分布式存储集群，只影响相关节点的路由表数据，文件由于3个存储节点副本的存在被及时转移，对存储节点无影响，具有很高的扩展性，在集群节点总数大于3的情况，集群中的存储节点副本始终保持3个；

3.本发明的分布式存储集群是全分布式，没有中心节点；任意节点的崩溃都对存储无影响，提高了系统的可靠性、可用性和存取效率，易于扩展。

附图说明

为了更清楚地说明本发明的实施例，下面将对实施例中所需要使用的附图作一简单地介绍。

图1为本发明一种大规模分布式存储系统的节点路由的方法的流程示意图之一。

图2为本发明一种大规模分布式存储系统的节点路由的方法的流程示意图之二。

具体实施方式

下面对本发明中涉及到的一些技术词语进行解释：