[发明专利]一种副本放置方法及装置

说明书

本文公布一种副本放置方法及装置，所述方法包括：根据来自客户端的用户请求，生成候选副本集全集；在所述候选副本集全集中查找满足预设条件的候选副本集；将所述查找的候选副本集的信息返回给所述客户端。本文的方法及装置，能够有效降低集群中多台数据节点发生故障时发生数据丢失的概率。

技术领域

本发明涉及计算机领域，尤指一种副本放置方法及装置。

背景技术

在计算机集群存储系统中，为提高系统的可靠性、降低数据丢失概率，系统往往将数据复制多个副本放置在多台不同的计算机上，这样即使因为数据节点硬件或者软件故障数据丢失，也不会造成数据的丢失。但是在实际系统中，特别是在大规模集群中，仍然存在一定概率造成数据的R个副本同时丢失，造成系统数据丢失的情况。

现有的副本放置策略有随机放置策略和基于网络拓扑结构的副本放置策略。其中，随机放置策略是从集群的所有数据节点中随机挑选R台数据节点来放置副本，该策略发生数据丢失的概率高。基于网络拓扑结构的副本放置策略是，根据数据节点故障特点，将数据放置在拓扑结构的不同点上。这样即使某个机房发生断电，数据仍然不会丢失，但该策略不具备通用性，只是降低了某些故障导致的数据丢失概率。例如，为了防止某个机房断电造成的数据丢失，将数据的R个副本放置在不同机房的数据节点中，这样跨机房的搁置策略只能降低机房断电情况下数据丢失的概率，而不能降低数据节点级别故障情况下数据丢失的概率。

因此，需要一种既能降低数据丢失的概率又能兼具通用性的副本放置方案。

发明内容

为了解决上述技术问题，本发明实施例提供了一种副本放置方法及装置。

本发明实施例提供了：

一种副本放置方法，应用于分布式存储系统中的管理节点，包括：

根据来自客户端的用户请求，生成候选副本集全集；

在所述候选副本集全集中查找满足预设条件的候选副本集；

将所述查找的候选副本集的信息返回给所述客户端。

其中，在所述候选副本集全集中查找满足预设条件的候选副本集，包括：

计算数据节点之间的逻辑距离；

根据所述数据节点之间的逻辑距离，在所述候选副本集全集中查找满足预设条件的候选副本集。

其中，所述预设条件为：任意两个数据节点之间的逻辑距离不大于预定的逻辑距离阈值。

其中，在所述候选副本集全集中查找满足预设条件的候选副本集，包括：

对于所述候选副本集全集中每个候选副本集，验证其中对应的数据节点之间逻辑距离是否不大于预定的逻辑距离阈值；

如果是，则所述候选副本集满足预设条件；否则，所述候选副本集不满足所述预设条件。

其中，所述逻辑距离阈值的取值满足：R-1≤S≤N-1；其中，R表示一份数据的副本数量，R为不小于1的整数，S表示所述逻辑距离阈值，N为所述管理节点所属分布式存储系统中包含的数据节点总数。

其中，还包括：根据预先确定的数据丢失概率阈值和一次丢失的数据量阈值，确定所述逻辑距离阈值。

其中，所述满足预定条件的候选副本集数量P满足：

其中，R-1≤S≤N-1，R为一份数据的副本数量，R为不小于1的整数，S表示所述逻辑距离阈值，P表示候选副本集的总数。

其中，所述用户请求中携带第一数据的副本数；