[发明专利]一种元数据管理方法、装置和计算机可读存储介质

说明书

技术领域

本发明涉及存储集群技术领域，特别是涉及一种元数据管理方法、装置和计算机可读存储介质。

背景技术

分布式文件系统(distributed file system，CEPH)通过将多台机器的资源组织起来，对外提供统一的、大容量的、高性能的、高可靠的文件服务，满足了大规模应用的要求。

CEPH通常由元数据服务器(MetaDataServer，MDS)集群和存储服务器集群构成。统计表明，在文件系统的访问中，对元数据的访问次数占全部访问次数的50-80％。为应对大量的元数据操作请求，保障良好的性能和扩展性，元数据的管理方式与MDS集群的负载均衡策略极其重要。

传统方式中，迁移算法默认了各个MDS的能力相同，实际上同样的元数据访问在不同MDS上造成的负载是不同的。将元数据对应的目录子树从高负载、能力强的MDS上迁移到低负载、能力弱的MDS上时，能力弱的MDS可能接受过多的元数据负载，很快成为新的系统瓶颈；虽然在新一轮的迁移活动中，目录子树会从能力弱的MDS迁移出去，但仍然浪费了大量的网络流量，延长了负载均衡的时间。而当目录子树从高负载、能力弱的MDS上迁移到低负载、能力强的机器上时，虽然不会造成网络流量的浪费，但实际上可以迁移更多的热度过去，没有充分利用迁移的机会。

可见，如何提升负载均衡的效率，是本领域技术人员亟待解决的问题。

发明内容

本发明实施例的目的是提供一种元数据管理方法、装置和计算机可读存储介质，可以。

为解决上述技术问题，本发明实施例提供一种元数据管理方法，包括：

获取集群系统中所有元数据服务器各自对应的负载值和热度值；

依据预设阈值以及各个所述元数据服务器对应的负载值，选取出过载元数据服务器和轻载元数据服务器；

依据所有所述负载值，计算出所述集群系统对应的平均负载值；

依据所述平均负载值、所述预设阈值、所述过载元数据服务器对应的负载值和热度值以及各个所述轻载元数据服务器对应的负载值和热度值，从所有所述轻载元数据服务器中选取出目标元数据服务器，并将所述过载元数据服务器中相应数量的目录子树迁移至所述目标元数据服务器。

可选的，所述依据所述平均负载值、所述预设阈值、所述过载元数据服务器对应的负载值和热度值以及各个所述轻载元数据服务器对应的负载值和热度值，从所有所述轻载元数据服务器中选取出目标元数据服务器，并将所述过载元数据服务器中相应数量的目录子树迁移至所述目标元数据服务器包括：

依据所述平均负载值和所述过载元数据服务器对应的负载值，计算出所述过载元数据服务器对应的过载量；

依据所述平均负载值、所述预设阈值、所述过载元数据服务器对应的负载值和热度值以及各个所述轻载元数据服务器对应的负载值和热度值，计算出各个所述轻载元数据服务器对应的承载量；

依据各个所述轻载元数据服务器对应的承载量，从所有所述轻载元数据服务器中选取出承载量最大的一个轻载元数据服务器作为目标元数据服务器；

依据所述过载量和所述目标元数据服务器对应的承载量，将所述过载元数据服务器中相应数量的目录子树迁移至所述目标元数据服务器。

可选的，所述依据所述平均负载值、所述预设阈值、所述过载元数据服务器对应的负载值和热度值以及各个所述轻载元数据服务器对应的负载值和热度值，计算出各个所述轻载元数据服务器对应的承载量包括：

根据如下公式，计算出所有所述轻载元数据服务器中第j台轻载元数据服务器对应的承载量mL；

其中，L表示所述预设阈值，L1表示所述平均负载值，P_j表示第j台轻载元数据服务器对应的热度值，P_i表示所述过载元数据服务器对应的热度值，L_j表示第j台轻载元数据服务器对应的负载值，L_i表示所述过载元数据服务器对应的负载值。

可选的，在依据所有所述负载值，计算出所述集群系统对应的平均负载值之前还包括：

依据获取的所述集群系统中所有所述元数据服务器各自对应的传输代价值，将所有所述元数据服务器进行分区域处理；其中，每个区域中包含有至少一个所述元数据服务器；

相应的，所述依据所有所述负载值，计算出所述集群系统对应的平均负载值包括：

依据每个区域中包括的所述元数据服务器对应的负载值，计算出每个所述区域对应的平均负载值；