[发明专利]一种分布式文件容量均衡的方法与装置

说明书

技术领域

本发明涉及分布式文件系统技术领域，特别是涉及一种分布式文件系统容量均衡的方法与装置。

背景技术

分布式文件系统(Distributed File System，DFS)可以有效解决数据的存储和管理难题，将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。

在使用分布式文件系统，创建存储池之后，PG(数据存储的最小逻辑单元)成员会按照伪随机数据分布算法(Controlled Replication Under Scalable Hashing，crush)，在存储资源(Object Storage Device，OSD)上进行伪随机分布。由于crush算法计算得出的PG分布并不能达到完美的均衡，使得有些OSD上分布的PG数量较多，有些OSD上分布的PG数量较少。PG是数据存储的最小逻辑单元，因此数据写入分布式文件系统的时候，直观的现象就是OSD上的数据分布不均，可能会出现整体容量写入到80％的时候，有些PG分布较多的OSD实际占用量已经达到95％，导致系统无法继续写入。

可见，如何提升分布式文件系统容量利用率，是本领域技术人员亟待解决的问题。

发明内容

本发明实施例的目的是提供一种分布式文件系统容量均衡的方法与装置，可以实现不同OSD的数据均衡分布，从而提升分布式文件系统容量利用率。

为解决上述技术问题，本发明实施例提供一种分布式文件系统容量均衡的方法，包括：

S10：利用crush算法对存储池中包括的所有OSD进行PG的分配，得到PG分布；

S11：计算所述存储池中PG的目标平均数；

S12：依据所述PG分布，判断各个所述OSD所对应的PG数目是否超过所述目标平均数；

S13：若超过，则依据预先存储的权重调整命令，调整所述OSD的权重，并返回所述S10；

S14：若不超过，则结束调整所述OSD的权重，得到满足容量均衡的PG分布。

可选的，在所述S11中：

利用公式：PG的目标平均数＝(PG总数量/OSD总个数)*1.05，计算出PG的目标平均数。

可选的，在所述S13中：

从所述PG数目超过所述目标平均数的OSD中，查询是否存在PG数目超过最大值的OSD；

若存在PG数目超过最大值的OSD，则按照极限调整值，调整所述OSD的权重；

若不存在PG数目超过最大值的OSD，则依据预先存储的梯度值，从高到低依次查询是否存在PG数目超过目标梯度值的OSD；其中，所述目标梯度值为所述梯度值中的其中一个梯度值；

若存在，则按照所述目标梯度值，调整所述OSD的权重。

本发明实施例还提供了一种分布式文件系统容量均衡的装置，包括分配单元、计算单元、判断单元、调整单元、和结束单元：

所述分配单元，用于利用crush算法对存储池中包括的所有OSD进行PG的分配，得到PG分布；

所述计算单元，用于计算所述存储池中PG的目标平均数；

所述判断单元，用于依据所述PG分布，判断各个所述OSD所对应的PG数目是否超过所述目标平均数；

若超过，则触发所述调整单元，所述调整单元，用于依据预先存储的权重调整命令，调整所述OSD的权重，并触发所述分配单元；

若不超过，则触发所述结束单元，所述结束单元，用于结束调整所述OSD的权重，得到满足容量均衡的PG分布。

可选的，所述计算单元具体用于利用公式：PG的目标平均数＝(PG总数量/OSD总个数)*1.05，计算出PG的目标平均数。

可选的，所述调整单元包括：查询子单元和调整子单元；

所述查询子单元，用于从所述PG数目超过所述目标平均数的OSD中，查询是否存在PG数目超过最大值的OSD；

若存在PG数目超过最大值的OSD，则触发所述调整子单元，所述调整子单元，用于按照极限调整值，调整所述OSD的权重；

若不存在PG数目超过最大值的OSD，则触发所述查询子单元，所述查询子单元还用于依据预先存储的梯度值，从高到低依次查询是否存在PG数目超过目标梯度值的OSD；其中，所述目标梯度值为所述梯度值中的其中一个梯度值；