[发明专利]元数据管理方法和系统有效
申请号: | 201310716441.7 | 申请日: | 2013-12-23 |
公开(公告)号: | CN104735110B | 公开(公告)日: | 2019-03-26 |
发明(设计)人: | 谢朝阳;高旸;冯明;广小明 | 申请(专利权)人: | 中国电信股份有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;G06F16/182 |
代理公司: | 中国国际贸易促进委员会专利商标事务所 11038 | 代理人: | 刘剑波 |
地址: | 100033 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据管理 方法 系统 | ||
1.一种元数据管理方法,其特征在于,包括:
需要备份数据的元数据主节点在备份指定数据时,向元数据集群中的其它元数据主节点发送负载查询请求;
接收到负载查询请求的元数据主节点统计自身的负载状况,并将负载统计信息上报给需要备份数据的元数据主节点;
需要备份数据的元数据主节点利用上报的负载统计信息确定目标节点,其中目标节点包括负载最轻的m个元数据主节点,m为大于0的正整数,m的大小与指定数据的数据热度相关联;
需要备份数据的元数据主节点将指定数据发送给每一个作为目标节点的元数据主节点;
作为目标节点的元数据主节点接收到指定数据后,将指定数据在本地备份,并在备份成功后向需要备份数据的元数据主节点发送备份成功消息;
其中,需要备份数据的元数据主节点在将指定数据发送给每一个作为目标节点的元数据主节点后,还包括:
判断是否在预定时间范围内接收到全部作为目标节点的元数据主节点发送的备份成功消息;
若未能在预定时间范围内接收到全部作为目标节点的元数据主节点发送的备份成功消息,则将目标节点中没有发送备份成功消息的元数据主节点重新确定为目标节点;
然后执行需要备份数据的元数据主节点将指定数据发送给每一个作为目标节点的元数据主节点的步骤。
2.根据权利要求1所述的方法,其特征在于,
元数据主节点在本地保存数据时,将保存的数据发送给与自身相关联的元数据从节点进行存储,以便元数据从节点与元数据主节点实现数据同步。
3.根据权利要求1所述的方法,其特征在于,
元数据从节点在判断与其相关联的元数据主节点出现故障时,将自身的网络参数修改为元数据主节点参数,以作为元数据集群中新的元数据主节点。
4.根据权利要求3所述的方法,其特征在于,
出现故障的元数据主节点故障恢复后,将自身的网络参数修改为元数据从节点参数,以作为元数据集群中新的元数据从节点,其中新的元数据从节点与新的元数据主节点相关联;
新的元数据从节点向新的元数据主节点发送自身的数据快照,以便新的元数据主节点根据数据快照,将新的元数据从节点缺失的数据发送给新的元数据从节点进行存储,从而新的元数据从节点与新的元数据主节点实现数据同步。
5.一种元数据管理系统,其特征在于,包括多个元数据主节点,其中:
需要备份数据的元数据主节点,用于在备份指定数据时,向元数据集群中的其它元数据主节点发送负载查询请求;利用上报的负载统计信息确定目标节点,其中目标节点包括负载最轻的m个元数据主节点,m为大于0的正整数,m的大小与指定数据的数据热度相关联;将指定数据发送给每一个作为目标节点的元数据主节点;还用于在将指定数据发送给每一个作为目标节点的元数据主节点后,判断是否在预定时间范围内接收到全部作为目标节点的元数据主节点发送的备份成功消息;若未能在预定时间范围内接收到全部作为目标节点的元数据主节点发送的备份成功消息,则将目标节点中没有发送备份成功消息的元数据主节点重新确定为目标节点,然后执行需要备份数据的元数据主节点将指定数据发送给每一个作为目标节点的元数据主节点的操作;
接收到负载查询请求的元数据主节点,用于统计自身的负载状况,并将负载统计信息上报给需要备份数据的元数据主节点;
作为目标节点的元数据主节点,用于在接收到指定数据后,将指定数据在本地备份,并在备份成功后向需要备份数据的元数据主节点发送备份成功消息。
6.根据权利要求5所述的系统,其特征在于,还包括多个元数据从节点,其中每个元数据从节点分别与一个元数据主节点相关联;
元数据主节点还用于在本地保存数据时,将保存的数据发送给与自身相关联的元数据从节点进行存储,以便元数据从节点与元数据主节点实现数据同步。
7.根据权利要求6所述的系统,其特征在于,
元数据从节点还用于在判断与其相关联的元数据主节点出现故障时,将自身的网络参数修改为元数据主节点参数,以作为元数据集群中新的元数据主节点。
8.根据权利要求7所述的系统,其特征在于,
出现故障的元数据主节点还用于在故障恢复后,将自身的网络参数修改为元数据从节点参数,以作为元数据集群中新的元数据从节点,其中新的元数据从节点与新的元数据主节点相关联;向新的元数据主节点发送自身的数据快照,以便新的元数据主节点根据数据快照,将新的元数据从节点缺失的数据发送给新的元数据从节点进行存储,从而新的元数据从节点与新的元数据主节点实现数据同步。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国电信股份有限公司,未经中国电信股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310716441.7/1.html,转载请声明来源钻瓜专利网。