[发明专利]一种对称分布式文件系统的元数据日志更新方法有效
申请号: | 201711143345.2 | 申请日: | 2017-11-17 |
公开(公告)号: | CN108153804B | 公开(公告)日: | 2021-03-16 |
发明(设计)人: | 张明富;吴江;李明壮 | 申请(专利权)人: | 极道科技(北京)有限公司;北京荣之联科技股份有限公司 |
主分类号: | G06F16/16 | 分类号: | G06F16/16;G06F16/17 |
代理公司: | 北京正理专利代理有限公司 11257 | 代理人: | 付生辉 |
地址: | 100101 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 对称 分布式 文件系统 数据 日志 更新 方法 | ||
1.一种对称分布式文件系统的元数据日志更新方法,其特征在于,包括:
在对称分布式文件系统中的块节点的本地文件系统执行文件操作前,为该文件的元数据创建具有唯一序列号的文件操作的日志记录并将操作码和参数写入所述文件操作的日志记录;
所述本地文件系统执行文件操作;
在所述本地文件系统执行文件操作后,将执行文件操作后文件的属性信息和完成标志写入所述文件操作的日志记录;
在本地文件系统从异常故障中恢复后扫描各文件操作的日志记录,对于未写入完成标志的文件操作的日志记录:根据该未写入完成标志的文件操作的日志记录中的操作码和参数与文件当前的属性信息进行比对,以确认对应的文件操作是否完成,若完成则将完成标志写入该未写入完成标志的文件操作的日志记录,若未完成则删除该未写入完成标志的文件操作的日志记录。
2.根据权利要求1所述的对称分布式文件系统的元数据日志更新方法,其特征在于,所述文件操作包括:创建目录操作、删除目录操作、创建文件操作、删除文件操作、设置目录属性操作、设置文件属性操作、目录重命名操作、文件重命名操作和文件写入数据操作。
3.根据权利要求2所述的对称分布式文件系统的元数据日志更新方法,其特征在于,该方法还包括:
本地文件系统设定更新时段,当在本地文件系统执行文件写入数据操作后的更新时段内未出现新的文件写入数据操作请求时,本地文件系统才将文件当前的属性信息和完成标志写入文件写入数据操作的日志记录。
4.根据权利要求2所述的对称分布式文件系统的元数据日志更新方法,其特征在于,该方法还包括:
各块节点的本地文件系统每次提供一批文件的元数据中文件操作的日志记录聚合到总日志流时,对于创建目录操作,以该目录ID作为关键字选择时间上首先到来的创建目录操作的日志记录合入总日志流,且过滤删除掉时间上后续到来的重复日志记录。
5.根据权利要求2所述的对称分布式文件系统的元数据日志更新方法,其特征在于,该方法还包括:
各块节点的本地文件系统每次提供一批文件的元数据中文件操作的日志记录聚合到总日志流时,对于删除目录操作,以该目录ID作为关键字过滤删除掉时间上先到达的重复日志,只选择时间上最后到来的删除目录操作的日志记录合入总日志流。
6.根据权利要求2所述的对称分布式文件系统的元数据日志更新方法,其特征在于,该方法还包括:
当本地文件系统执行文件重命名操作的过程中源文件和目标文件不属于对称分布式文件系统中同一个块节点的本地文件系统时,由源文件所属的块节点的本地文件系统执行该文件重命名操作并创建该文件重命名操作的日志记录。
7.根据权利要求6所述的对称分布式文件系统的元数据日志更新方法,其特征在于,该方法还包括:
在数据库导入各块节点的本地文件系统中文件的元数据中文件操作的日志记录时,对于文件重命名操作的日志记录:
检查被覆盖的目标文件是否已存在于数据库中,若是则执行删除目标文件的日志记录并更新源文件的文件名,若否则更新源文件的文件名并将执行该文件重命名操作的日志记录录入对比表中;
在数据库导入每个创建文件操作的日志记录前,检查该文件是否在所述对比表中作为文件重命名操作的日志记录中的目标文件被覆盖,若是则忽略该创建文件操作的日志记录并将所述对比表中的对应的文件重命名操作的日志记录标记为已检查完成状态,在间隔设定的清除时段后清除该对应的文件重命名操作的日志记录。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于极道科技(北京)有限公司;北京荣之联科技股份有限公司,未经极道科技(北京)有限公司;北京荣之联科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711143345.2/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置