[发明专利]一种元数据集群目录动态负载平衡方法及系统

说明书

本申请公开了一种元数据集群目录动态负载平衡方法及系统，包括：判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值；如果是，则判断当前子目录是否只包含文件，其中，当前子目录为满足热度大于阈值的根目录的子目录；如果是，则通过轮询方式将当前子目录分配给从元数据服务器；如果否，则将当前子目录的子目录作为新的当前子目录；本申请通过设定热度阈值，判断元数据服务的主元数据服务器的目录树的根目录的热度是否大于预设的阈值，如果大于，则查找到作为热度源只包含文件满足热度大于预设的阈值的子目录，将该子目录通过轮询的方式分配给与主元数据服务器对应的从元数据服务器中，实现元数据服务负载均衡。

技术领域

本发明涉及分布式文件领域，特别涉及一种元数据集群目录动态负载平衡方法及系统。

背景技术

在分布式文件系统应用中，会有海量小文件使用场景。例如视频监控中摄像口存储卡口图片(500KB)，高性能计算算例中素材文件(几KB～几百KB)，广电媒资场景中动漫渲染素材(几KB～几百KB)等，这些场景每天都会产生上百万文件，每秒文件操作需求高达5000个/s。而分布式文件系统元数据性能是个瓶颈，需要使用元数据集群提升元数据并发。而元数据集群面临的关键问题是如何实现目录动态负载平衡。目前研究元数据集群动态子树分区技术较多，但是没有厂商应用实际生产环境。其中的难题是目录负载平衡问题。由于不同应用场景IO模型不一样，很难有适用所有场景的动态目录负载平衡机制。

现有技术中，元数据集群中元数据服务以目录为单位统计目录热度，目录热度就代表了元数据服务负载，用将负载高的mds进程分出部分负载给负载少的mds，通过多目录元数据并发提升元数据性能，但需频繁统计目录热度和元数据负载，增加元数据处理延时，且现有算法会出现频繁目录切换元数据服务，反而会降低性能，难以应用于生产环境。

因此，发明一种能够实现元数据服务负载均衡，提升分布式文件系统元数据性能，使得分布式文件系统可用于海量小文件场景的元数据集群目录动态负载平衡方法是当前需要解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种元数据集群目录动态负载平衡方法及系统，实现元数据服务负载均衡，提升分布式文件系统元数据性能，使得分布式文件系统可用于海量小文件场景。其具体方案如下：

一种元数据集群目录动态负载平衡方法，包括：

判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值；

如果是，则判断当前子目录是否只包含文件，其中，当前子目录为满足热度大于所述阈值的所述根目录的子目录；

如果是，则通过轮询方式将当前子目录分配给从元数据服务器；

如果否，则将当前子目录的子目录作为新的当前子目录。

可选的，还包括：实时更新主元数据服务器的目录树的热度。

可选的，所述判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值的过程，包括：

定时判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值。

本发明还公开了一种元数据集群目录动态负载平衡系统，包括：

根目录判断模块，用于判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值；

子目录判断模块，用于当所述根目录判断模块判定所述根目录的热度大于所述阈值，则判断当前子目录是否只包含文件，其中，当前子目录为满足热度大于所述阈值的所述根目录的子目录；

分配模块，用于当所述子目录判断模块判定当前子目录只包含文件，则通过轮询方式将当前子目录分配给从元数据服务器；