[发明专利]一种分布式元数据管理方法和系统

说明书

本发明提供了一种分布式元数据管理方法及系统。包括获取元数据，并将所述元数据储存在预先构建的分布式管理系统的储存节点；在所述储存节点上通过静态负载均衡策略和动态负载均衡策略，得到优化元数据；基于目录重定向表格确定所述目录重定向表格到存储节点的路径，根据所述优化元数据，构建静态和动态均衡调控的元数据储存集群。本发明的有益效果在于：本发明通过不同的储存节点可以使得元数据分类清晰且清楚。便于规划管理和划分。通过在储存节点设置负载均衡策略，可以使得数据得到优化。通过目录重定向表格构建了储存节点和元数据的传输路径，通过集群式的分布式储存系统，对元数据进行管理。

技术领域

本发明涉及数据管理技术领域，特别涉及一种分布式元数据管理方法和系统。

背景技术

信息时代的发展，对存储设备高负载、低时延的要求越来越高，海量数据存储应运而生，以便支持日益膨胀的大数据业务。海量数据存储的容量越大，其需要对应的元数据也越多，而海量数据存储的容量不可能无限大，为此便需要合理的管理元数据。

分布式管理系统是建立在网络上的管理系统，以高聚性和内透性的系统特性，能够对实现对分散的资源和数据进行利用和信息交换。

目前，现有技术中，分布式管理系统在对元数据的控制时，存在负载不均匀，路径不确定，导致元数据传输中断、卡顿的现象。

发明内容

本发明提供一种分布式元数据管理方法和系统，用以解决负载不均匀，路径不确定，导致元数据传输中断、卡顿的情况。

一种分布式元数据管理方法，其特征在于，包括：

获取元数据，并将所述元数据储存在预先构建的分布式管理系统的储存节点；

在所述储存节点上设置静态负载均衡策略和动态负载均衡策略，得到优化元数据；

基于目录重定向表格确定所述目录重定向表格到存储节点的传输路径，根据所述优化元数据和传输路径，构建静态和动态均衡调控的元数据储存集群。

作为本发明的一种实施例：所述获取元数据，并将所述元数据储存在预先构建的分布式管理系统的储存节点，包括：

通过所述分布式管理系统的元数据服务器提取所述元数据，并识别所述元数据的数据类型；

根据所述数据类型，构建所述元数据的分布式图；

根据所述分布式图，确定所述元数据之间的相关关系；

获取所述分布式管理系统的储存节点，并根据所述相关关系和分布式图，将所述储存节点和所述元数据相对应，确定所述元数据在所述储存节点的对应分布图；

根据所述对应分布图，将所述元数据储存在所述储存节点。

作为本发明的一种实施例：在所述储存节点上通过静态负载均衡策略和动态负载均衡策略，得到优化元数据，包括：

通过所述静态负载均衡策略在所述储存节点检查所述元数据的异常情况，判断所述元数据是否存在异常；

当存在异常时，统计所述异常，并通过预设的处理策略库进行处理；

当不存在异常时，给所述储存节点配置加权值，根据所述加权值，判断所述加权后的储存节点和所述储存节点的正常权值比例是否为预设的标准比例；

当不为预设的标准比例时，并通过预设的处理策略库进行处理；

当为预设的标准比例时，设置所述储存节点的优先值，并对所述储存节点优先分级；

根据所述优先分级，对所述储存节点进行循环检查；

通过所述动态负载均衡策略依次判断所述储存节点的连接方式，并对所述连接方式进行动态检查，动态分配连接地址；