[发明专利]一种基于USN日志方式进行海量文件备份的方法

说明书

本发明公开了一种基于USN日志方式进行海量文件备份的方法。用户只需将NTFS格式分区的USN日志开启，通过相应的程序便可以简单快速的备份海量文件中发生变化的文件。备份过程中，读线程将文件的内容存入内存，写线程根据偏移量和文件大小，将文件内容从内存写入存储目录磁盘，提高读写速度，节约备份时间；同时，汇总海量文件备份过程中产生的增量备份集，形成合成备份，恢复一个合成备份等于恢复多个增量备份。

技术领域

本发明涉及一种海量文件备份方法，特别是涉及基于USN日志方式进行海量文件备份的方法。

背景技术

数据安全是信息社会的重要诉求之一，并随着互联网和电脑的大规模普及，在政府调控、企业运行、个人生活中占据越来越重要的地位。作为数据安全的应对方案，数据备份成为当前数据安全的核心问题。

现有的文件备份方法，主要是用户根据需要设定备份目标，对备份目标进行实时或定时的监控，发现文件有修改，则进行备份，已达到备份文件的目的。

但在实际备份过程中，现有海量文件备份方法存在以下不足之处：

1、扫描次数过多。一次备份至少需要2次扫描，第一次是预扫描，获取本次备份的文件总数和文件总大小；第二次扫描，生成备份列表，根据列表来进行备份。另外，第二次备份往后，为了保证源目录与备份存储目录文件的一致性，还需要第3次扫描，扫描备份存储目录，将备份存储目录中多余的文件(对应源目录的文件已经被删除)删除。

2、扫描时间过长。海量文件，顾名思义就是有很多文件，一般是指1000W个文件，假设扫描一个文件的时间是固定的N秒，所花费的时间就是1000W*N秒。事实上，由于文件系统的束缚，随着文件数的增多，扫描时间不是线性增加的，更像是指数级增加，所以扫描时间可能远大于1000W*N秒。

3、加剧硬盘的损坏。每次备份都要扫描，需要进行大量的磁盘IO操作，因此对硬盘的伤害较大。

4、备份速度慢。对于海量文件的备份，由于文件数较多，因此所需时间较长。因此，从用户的需求出发，备份速度越快越好。

发明内容

本发明的目的是提供一种基于USN日志进行海量文件备份的方法，用户只需将NTFS格式分区的USN日志开启，通过相应的程序便可以简单快速的备份海量文件中发生变化的文件。

为解决上述技术问题，本发明采取以下技术方案：

第二，基于USN日志节约扫描时间。

开启USN日志，解析USN日志，解析后生成文件变化记录，备份程序直接读取变化记录进行增量备份，不需要扫描源目录的文件。

第二，通过读写线程和额外内存节约拷贝时间。

当文件进行备份时，备份是从一个磁盘备份到另一个磁盘上，跨磁盘备份是通过两个线程进行工作(一个读线程，一个写线程)。一个文件进行完读写线程后再进行下一个文件的读写进程。

本发明通过读写线程和额外内存，读线程将文件的内容存入内存，写线程根据偏移量和文件大小，将文件内容从内存写入存储目录磁盘。读写线程的分工优化了跨分区的备份速度，读线程无需等待写线程完成，才能读取下一个文件，两个线程并发进行，极大的提高了读写速度，从备份文件过程上节约了备份时间。

假设内存无限大的话，所有文件都可以这样进行拷贝。但是内存大小是有限的，所以可以将小文件通过上述方式进行备份。

第三，通过合成备份减少备份集，节约恢复时间。

随着海量文件进行的增量备份的次数越来越多，产生的备份集也相应增多，恢复时需要依次恢复，经过的阶段数较多，同时备份集的管理也变的麻烦。