[发明专利]一种分片分配方法、装置及电子设备

说明书

本发明实施例提供了一种分片分配方法、装置及电子设备。其中，所述方法包括：针对所述多个存储节点中的每个存储节点，计算该存储节点的节点权重，所述节点权重与该存储节点的剩余存储空间正相关，与该存储节点已经分配的分片数目负相关；按照所述节点权重，从所述多个存储节点中选取存储节点；针对所选取的存储节点的每个磁盘路径，计算该磁盘路径的路径权重，所述路径权重与该磁盘路径的剩余存储空间正相关，与该磁盘路径已经分配的分片数目负相关；按照所述路径权重，从所选取的存储节点的各个磁盘路径中选取磁盘路径；将待分配的分片分配至所选取的磁盘路径中。可以提高分布式存储集群的稳定性。

技术领域

本发明涉及分布式存储技术领域，特别是涉及一种分片分配方法、装置及电子设备。

背景技术

分布式存储集群中可以包括多个存储节点，每个存储节点中可以包括多个磁盘，索引的各个分片可以按照预设规则，分配至这多个存储设备中的各个磁盘上。相关技术中，出于提高分片分布的离散型的考虑，可以将各个分片均匀的分配至各个存储节点中的各个磁盘上。

但是在分布式存储集群实际工作过程中，各分片存储的数据的数据量可能各不相同，因此不同磁盘内存储的数据的数据量不同。可能使得部分磁盘内还剩余较多存储空间，而另一部分磁盘已经几乎没有剩余的存储空间，导致分布式存储集群无法继续有效地存储数据，即分布式存储集群的稳定性较差。

发明内容

本发明实施例的目的在于提供一种分片分配方法、装置及电子设备，以实现提高分布式存储集群的稳定性。具体技术方案如下：

在本发明实施例的第一方面，提供了一种分片分配方法，所述方法包括：

针对所述多个存储节点中的每个存储节点，计算该存储节点的节点权重，所述节点权重与该存储节点的剩余存储空间正相关，与该存储节点已经分配的分片数目负相关；

按照所述节点权重，从所述多个存储节点中选取存储节点，每个存储节点被选取的概率与该存储节点的所述节点权重正相关；

针对所选取的存储节点的每个磁盘路径，计算该磁盘路径的路径权重，所述路径权重与该磁盘路径的剩余存储空间正相关，与该磁盘路径已经分配的分片数目负相关；

按照所述路径权重，从所选取的存储节点的各个磁盘路径中选取磁盘路径，每个磁盘路径被选取的概率与该磁盘路径的所述路径权重正相关；

将待分配的分片分配至所选取的磁盘路径中。

在一种可能的实施例中，所述方法还包括：

获取当前时序之前的至少一个时序的已分配的分片的平均大小；

按照所述至少一个时序的已分配的分片的平均大小，预测当前时序的待分配的分片的大小的预估值；

所述将待分配的分片分配至所选取的磁盘路径中，包括：

从所选取的磁盘路径中选择所述预估值大小的存储空间，分配至待分配的分片。

在一种可能的实施例中，所述至少一个时序包括至少两个时序；

所述按照所述至少一个时序的已分配的分片的平均大小，预测当前时序的待分配的分片的大小的预估值，包括：

按照所述至少两个时序的已分配的分片的平均大小，计算已分配的分片的平均大小随时序变化的变化幅度；

按照所述变化幅度，预测当前时序的待分配的分片的大小的预估值。

在一种可能的实施例中，所述按照所述变化幅度，预测当前时序的分片的大小的预估值，包括：

按照所述变化幅度，对所述至少两个时序中一个时序的已分配的分片的平均大小进行线性插值，得到当前时序的待分配的分片的大小的预估值。