[发明专利]一种分布式元数据管理方法和系统有效
申请号: | 202010840008.4 | 申请日: | 2020-08-20 |
公开(公告)号: | CN111737017B | 公开(公告)日: | 2020-12-18 |
发明(设计)人: | 张春林;李利军;李春青;常江波;尚雪松 | 申请(专利权)人: | 北京东方通科技股份有限公司;北京东方通软件有限公司;北京微智信业科技有限公司;北京泰策科技有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 北京冠和权律师事务所 11399 | 代理人: | 安琪 |
地址: | 100000 北京市丰台*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 数据管理 方法 系统 | ||
1.一种分布式元数据管理方法,其特征在于,包括:
获取元数据,并将所述元数据储存在预先构建的分布式管理系统的储存节点中;
在所述储存节点上设置静态负载均衡策略和动态负载均衡策略,得到优化元数据;
基于目录重定向表格,确定所述目录重定向表格到存储节点的传输路径,根据所述优化元数据和传输路径,构建静态和动态均衡调控的元数据储存集群;
所述获取元数据,并将所述元数据储存在预先构建的分布式管理系统的储存节点,包括:
通过所述分布式管理系统的元数据服务器提取所述元数据,并识别所述元数据的数据类型;
根据所述数据类型,构建所述元数据的分布式图;
根据所述分布式图,确定所述元数据之间的相关关系;
获取所述分布式管理系统的储存节点,并根据所述相关关系和分布式图,将所述储存节点和所述元数据相对应,确定所述元数据在所述储存节点的对应分布图;
根据所述对应分布图,将所述元数据储存在所述储存节点。
2.根据所述权利要求1所述的一种分布式元数据管理方法,其特征在于,在所述储存节点上通过静态负载均衡策略和动态负载均衡策略,得到优化元数据,包括:
通过所述静态负载均衡策略在所述储存节点检查所述元数据的异常情况,判断所述元数据是否存在异常;
当存在异常时,统计所述异常,并通过预设的处理策略库进行处理;
当不存在异常时,给所述储存节点配置加权值,根据所述加权值,判断所述加权后的储存节点和所述储存节点的正常权值比例是否为预设的标准比例;
当不为预设的标准比例时,通过预设的处理策略库进行处理;
当为预设的标准比例时,设置所述储存节点的优先值,并对所述储存节点优先分级;
根据所述优先分级,对所述储存节点进行循环检查;
通过所述动态负载均衡策略依次判断所述储存节点的连接方式,并对所述连接方式进行动态检查,动态分配连接地址;
依次判断所述储存节点和响应服务器的服务响应时间,并根据所述服务响应时间,动态改变响应服务器;
基于所述动态分配连接地址和动态改变响应服务器,确定所述储存节点的预测性能;
并根据所述预测性能,确定所述储存节点的性能参数;
根据所述性能参数和循环检查,对所述储存节点元数据进行优化,得到优化数据。
3.根据所述权利要求2所述的一种分布式元数据管理方法,其特征在于,所述性能参数通过以下步骤获得,包括:
步骤1:获取所述元数据,确定所述元数据的加权特征:
;
其中,所述为元数据的数量,所述表示第个元数据的第个数据特征;所述表示第个元数据的类型参数,所述表示第个数据特征的类型参数;所述表示所述加权函数,所述
;;;
步骤2:根据所述加权特征和静态负载均衡策略,确定所述元数据的优先值:
;
;
其中,所述为异常系数;所述表示异常判定函数,当所述时表示无异常;当所述时表示有异常;所述表示优先级判定函数,所述值越大,优先级越高;所述表示第个元数据的第个数据特征加权值;所述表示第个元数据的加权特征;所述)表示第(个元数据的加权特征;所述表示元数据的类型参数的平均值;所述表示数据特征的类型参数的平均值;所述表示数据特征的平均值;
步骤3:根据所述优先值和动态负载均衡策略,确定所述元数据的性能参数;
其中,所述表示预存的地址参数;所述表示所述元数据的响应时间。
4.根据所述权利要求1所述的一种分布式元数据管理方法,其特征在于,所述基于目录重定向表格,确定所述目录重定向表格到存储节点的传输路径,根据所述优化元数据和传输路径,构建静态和动态均衡调控的元数据储存集群,包括:
根据所述存储节点,确定所述元数据的映射储存区域;
基于所述目录重定向表格,确定所述映射储存区域和所述储存节点的传输路径;
根据所述传输路径,将所述静态负载均衡策略和动态负载均衡策略配置在所述映射储存区域,构成所述数据储存集群。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京东方通科技股份有限公司;北京东方通软件有限公司;北京微智信业科技有限公司;北京泰策科技有限公司,未经北京东方通科技股份有限公司;北京东方通软件有限公司;北京微智信业科技有限公司;北京泰策科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010840008.4/1.html,转载请声明来源钻瓜专利网。