[发明专利]分布式元数据管理一致性保证方法、装置、系统及应用有效
| 申请号: | 201811525115.7 | 申请日: | 2018-12-13 |
| 公开(公告)号: | CN109582686B | 公开(公告)日: | 2021-01-15 |
| 发明(设计)人: | 卢宇彤;陈志广;肖侬;刘芳 | 申请(专利权)人: | 中山大学 |
| 主分类号: | G06F16/23 | 分类号: | G06F16/23;G06F16/182 |
| 代理公司: | 湖南兆弘专利事务所(普通合伙) 43008 | 代理人: | 谭武艺 |
| 地址: | 510275 广东*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 分布式 数据管理 一致性 保证 方法 装置 系统 应用 | ||
1.一种分布式元数据管理一致性保证方法,其特征在于实施步骤包括:
1)截获来自客户端的元数据操作请求,如果元数据操作请求为元数据更新操作,则跳转执行步骤2);否则如果元数据操作请求为针对已标记作废元数据的元数据读操作,则跳转执行步骤3);
2)向客户端返回元数据更新成功的消息并顺序记录元数据更新请求,并将元数据所在元数据服务器中存储的旧元数据标记为作废;并将顺序记录的元数据更新请求异步同步到元数据所在的元数据服务器并删除完成同步的元数据的作废标记;退出;
3)向客户端返回尚未完成异步同步的元数据,退出。
2.根据权利要求1所述的分布式元数据管理一致性保证方法,其特征在于,步骤2)的详细步骤包括:
2.1)向客户端返回元数据更新成功的消息;
2.2)将元数据更新操作封装到一个日志中,并以一个原子写操作将日志持久化到存储设备上,使得元数据更新请求至此已经在保证一致性的条件下持久化到元数据集群中;
2.3)向元数据所在的元数据服务器发送作废消息,将元数据所在元数据服务器中存储的旧元数据标记为作废;
2.4)周期性地将顺序记录的元数据更新请求异步同步到元数据所在的元数据服务器并删除完成同步的元数据的作废标记;退出。
3.一种分布式元数据管理一致性保证装置,其特征在于包括:
操作请求判断程序单元,用于截获来自客户端的元数据操作请求,如果元数据操作请求为元数据更新操作,则跳转执行更新操作处理程序单元;否则如果元数据操作请求为元数据读操作,则跳转执行读操作处理程序单元;
更新操作处理程序单元,用于向客户端返回元数据更新成功的消息并顺序记录元数据更新请求,并将元数据所在元数据服务器中存储的旧元数据标记为作废;并将顺序记录的元数据更新请求异步同步到元数据所在的元数据服务器并删除完成同步的元数据的作废标记;
读操作处理程序单元,用于向客户端返回尚未完成异步同步的元数据。
4.一种分布式元数据管理一致性保证装置,包括至少一台计算机设备构成的一致性保证节点,其特征在于:所述一致性保证节点被编程以执行权利要求1或2所述分布式元数据管理一致性保证方法的步骤。
5.一种分布式元数据管理一致性保证系统,包括客户端和至少一台元数据服务器,其特征在于:所述客户端和元数据服务器之间连接有权利要求4所述的一致性保证节点。
6.一种权利要求5所述分布式元数据管理一致性保证系统的应用方法,其特征在于实施步骤包括:
S1)客户端判断其待发起的元数据操作请求的类型,如果元数据操作请求为元数据更新操作,则跳转执行步骤S2);否则如果元数据操作请求为元数据读操作,则跳转执行步骤S3);
S2)客户端选择一个一致性保证节点,并向选择的一致性保证节点发送元数据更新操作,在收到一致性保证节点返回元数据更新成功的消息后,结束并退出;
S3)客户端向元数据读操作的目标元数据服务器发送元数据读操作;
S4)目标元数据服务器判断元数据读操作的目标元数据是否存在作废标记,如果目标元数据不存在作废标记,则向客户端返回客户端目标元数据,客户端在收到返回的目标元数据后结束并退出;如果目标元数据存在作废标记,则向客户端返回目标元数据作废消息;客户端在收到返回的目标元数据作废消息后,跳转执行步骤S5);
S5)客户端选择一个一致性保证节点,并向选择的一致性保证节点发送针对已标记作废元数据的元数据读操作,且在收到一致性保证节点向客户端返回的尚未完成异步同步的元数据后,结束并退出。
7.根据权利要求6所述分布式元数据管理一致性保证系统的应用方法,其特征在于,步骤S2)以及步骤S5)客户端选择一个一致性保证节点时,具体是根据元数据更新操作或者元数据读操作的文件名选择对应的一致性节点。
8.根据权利要求7所述分布式元数据管理一致性保证系统的应用方法,其特征在于,所述根据元数据更新操作或者元数据读操作的文件名选择对应的一致性节点具体是指将元数据更新操作或者元数据读操作的文件名filename采用哈希函数h(x)选择编号为h(filename)%N的一致性节点,其中%为求余符号,N为元数据集群中一致性节点的数目。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中山大学,未经中山大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811525115.7/1.html,转载请声明来源钻瓜专利网。





