[发明专利]一种序列化数据操作日志的存储方法有效
申请号: | 201410440009.4 | 申请日: | 2014-09-01 |
公开(公告)号: | CN104239443B | 公开(公告)日: | 2018-07-06 |
发明(设计)人: | 高志会;周华;胡军擎 | 申请(专利权)人: | 上海英方软件股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F11/14 |
代理公司: | 北京君尚知识产权代理事务所(普通合伙) 11200 | 代理人: | 余功勋 |
地址: | 201114 上海市闵行区浦锦*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 类操作 数据分片 数据恢复 文件系统结构 序列化数据 操作日志 存储结构 文件系统 存储 时间点 主索引 备份文件系统 数据恢复过程 磁盘访问 快速索引 列表文件 日志查询 数据文件 原始数据 子索引 日志 查找 分类 记录 | ||
1.一种文件系统的数据恢复方法,其步骤包括:
1)采用以下方法存储文件系统的序列化操作日志;
1.1)备份文件系统的原始数据;
1.2)对文件系统的操作进行分类,包括A类操作和B类操作,其中A类操作是对文件系统结构没有影响的操作,B类操作是对文件系统结构有影响的操作;
1.3)建立存储结构,所述存储结构包括主索引和数据分片,所述主索引记录每一份所述数据分片涉及的时间范围,所述数据分片包括子索引文件、快速索引文件、数据文件和对象列表文件,每一个子索引文件对应一份数据文件以及一份对象列表文件;
1.4)将文件系统的A类操作和B类操作存储于所述存储结构中,其中子索引文件存储日志摘要,即所有操作的摘要,摘要的内容包含:操作类型,操作对象的ID,操作时间,操作数据长度,以及数据在数据文件中的位置;数据文件存储A类操作的数据;对象列表文件存储对象名称及ID;快速索引文件记录B类操作的摘要和此摘要在子索引文件中的位置;
2)根据主索引文件查找某时间点的数据分片,根据数据分片中的快速索引文件定位子索引的数据范围,再从子索引中定位日志摘要;或者跳过快速索引,直接在子索引中定位日志摘要;在内存中存有所述主索引文件的备份,以加快查找速度;
3)根据步骤2)中查找到的某个时间点及该时间点之前的日志摘要,将文件系统的数据恢复到该时间点;在查找特定对象的日志或者要恢复特定对象的数据时,进行日志过滤,其方法是:将每组数据分片的对象列表文件设置适当的尺寸以便能完全加载到内存中,在内存中形成一个对象及ID的相互映射关系,在处理日志之前,先根据过滤条件,对对象的ID作包含或排除的标记;在处理日志时,根据日志摘要中的ID判断这条日志是否有用,以避免对每条摘要做对象名称匹配,以减少CPU占用。
2.如权利要求1所述的方法,其特征在于:步骤1.2)所述A类操作包括:写文件操作,设置文件、目录的属性的操作;所述B类操作包括:对文件、目录、软链接、硬链接的创建操作、删除操作、移动操作。
3.如权利要求1所述的方法,其特征在于:步骤1.4)按照日志产生顺序依次进行处理,每条日志的存储步骤包括:
a)在当前数据分片的对象列表中根据对象名称查找其ID,如果没有就创建一个新ID,并写入对象列表文件;
b)生成操作摘要信息,写入当前数据分片的子索引文件;
c)如果是A类操作,将操作数据写入当前数据分片的数据文件;
d)如果是B类操作,将摘要信息写入当前数据分片的快速索引文件,摘要中的数据位置改为此摘要在子索引文件中的位置;
e)如果当前数据分片的操作数量过多或者对象列表文件的大小过大,则创建新的数据分片,并将当前数据分片涉及的时间范围记入主索引。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海英方软件股份有限公司,未经上海英方软件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410440009.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种光信号传输装置
- 下一篇:一种信息处理方法和电子设备