[发明专利]一种基于文件系统解析的海量小文件备份恢复方法在审
申请号: | 201710904206.0 | 申请日: | 2017-09-29 |
公开(公告)号: | CN107885616A | 公开(公告)日: | 2018-04-06 |
发明(设计)人: | 杨耀凯 | 申请(专利权)人: | 上海爱数信息技术股份有限公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14;G06F17/30 |
代理公司: | 上海科盛知识产权代理有限公司31225 | 代理人: | 翁惠瑜 |
地址: | 201112 上海市闵行*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 文件系统 解析 海量 文件 备份 恢复 方法 | ||
技术领域
本发明涉及计算机信息存储技术领域,尤其是涉及一种基于文件系统解析的海量小文件备份恢复方法。
背景技术
当今社会处于信息爆炸的时代,数据在急速增长。对于许多企业单位来说,每天都会有大量文件产生,而这些文件数据异常脆弱,因此需要及时对新增或者变化的文件进行保护,以保证在文件损坏的情况下可以恢复到最新状态。
传统的文件备份通过调用操作系统提供的文件操作接口对文件系统上的文件进行遍历,然后读取文件数据进行备份。对于每个文件来说都会涉及文件的打开、读取、关闭操作,每种操作都会占用一定的计算时间。当备份目标为海量的小文件时,由于读取操作占时较短,打开和关闭文件操作的耗时会占用总耗时的很大比例,磁盘的IOPS(Input/Output Operations Per Second,即每秒进行读写(I/O)操作的次数)将非常高,这样会极大地影响备份性能。备份千万级的小文件往往会占用几天甚至大半个月的时间,这种性能无法满足用户对于文件的即时保护要求。
当前市面上存在一些对文件系统进行备份恢复的方式,此种方式可以满足对海量小文件进行快速备份的需求。但是在实际恢复场景中,往往需要指定文件或者目录进行恢复,而这种方式只能对整个文件系统进行恢复,无法做到细粒度恢复。
基于上述问题,需要一种既能够快速备份大量小文件,同时又能满足指定文件或目录进行恢复的方法。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于文件系统解析的海量小文件备份恢复方法。
本发明的目的可以通过以下技术方案来实现:
一种基于文件系统解析的海量小文件备份恢复方法,其特征在于,包括备份子方法和恢复子方法,其中,
所述备份子方法包括:获取备份任务,选择采用完全备份方式或增量备份方式,基于CDP监控技术实现备份;
所述恢复子方法包括:获取恢复任务,选择细粒度恢复方式或整卷恢复方式,通过对文件系统的解析,实现指定数据的恢复。
较佳的,所述备份子方法中,采用完全备份方式的步骤具体包括:
a1)判断是否已加载CDP驱动,若是,则执行步骤a2),若否,则加载CDP驱动后执行步骤a2);
a3)初始化文件系统变化数据块记录信息;
a3)根据文件系统格式,读取文件系统上的数据块分配记录;
a4)分析数据块分配记录,读取所有已分配的数据块,进行备份,并在备份过程中更新文件系统变化数据块记录信息;
a5)通过所述文件系统变化数据块记录信息,对步骤a4)备份过程中发生变化的数据块进行备份;
a6)数据块不再发生变化,完成备份。
较佳的,所述备份子方法中,采用增量备份方式的步骤具体包括:
b1)判断是否已加载CDP驱动,若是,则执行步骤b2),若否,则加载CDP驱动后采用完全备份方式进行备份;
b2)判断需要备份的卷是否进行过完全备份,若是,则执行步骤b3),若否,则采用完全备份方式进行备份;
b3)从CDP驱动获取上一次备份结束后发生变化的数据块进行备份。
较佳的,所述步骤a4)中,读取所有已分配的数据块时,将连续的已分配数据块进行合并读取。
所述文件系统中,通常使用位图表来记录文件系统上数据块的分配情况,位为1时表示该位代表的块已分配,位为0时表示该位代表的块未分配,对于状态连续为1的位所表示的这些块,合并成一次进行读取,从而减少读取的次数。
较佳的,所述CDP驱动维护一个动态位图表和一个静态位图表,各位图表中,一个位代表一个数据块,位为1时表示该位代表的块发生变化,位为0时表示该位代表的块未发生变化,其中,
所述动态位图表用于记录发生变化数据块的信息,
所述静态位图表用于获取变化数据块信息时,与动态位图表进行交换,返回之前发生变化的数据块信息,不影响交换后变化的数据块信息的记录。
CDP驱动可以监控操作系统中对指定文件系统卷的IO操作。所述IO操作的最小单位为块,块的默认大小一般为512B的整数倍,写入操作的块被视为发生变化的数据块。
较佳的,所述步骤a2)中,初始化文件系统变化数据块记录信息具体为:将动态位图表和静态位图表的所有位置均置为0。
较佳的,对所述发生变化的数据块进行备份具体为:
交换动态位图表和静态位图表,从新的静态位图表中获取发生变化的数据块进行备份,且对连续的发生变化的数据块进行合并读取。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海爱数信息技术股份有限公司,未经上海爱数信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710904206.0/2.html,转载请声明来源钻瓜专利网。
- 上一篇:具有防虫功能的新型环网柜
- 下一篇:节能配电柜用散热系统