[发明专利]一种文件增量截获方法和装置

说明书

技术领域

本发明涉及增量截获技术领域，尤其涉及一种基于文件增量截获方法和装置。

背景技术

相关技术通常将计算机系统抽象成计算资源，存储资源与网络资源这三种资源，而计算机系统的本质目标就是将这三大资源结合到一起，为用户提供各种服务。如果进一步的将为用户提供的各种服务行为进行抽象，可以归纳为存储数据，处理数据和呈现数据的行为。对于数据的处理，由于数据处理软件自身提供的服务不同，对数据处理的方式也多种多样，而其中一部分是集中于增量数据的提取。在数据集中定位出增量数据，进而只需要对增量数据进行处理，再将处理结果与之前的处理结果进行合并，最终得到当前数据状态的处理结果。比如在数据库复制中使用的远程复制技术就是基于此原理实现的：将源数据库分为数据和日志两部分，其中日志记录从某一点开始对数据库的改变，在数据库远程复制的时候，只需将基础数据复制到目标库里，随后对日志的变化部分进行发送即可实现数据库的远程复制。

对于数据库这种结构化数据存储软件，大多以增量日志的方式支持，这一部分的技术已发展得十分成熟。但是对于普通文件，即非结构化数据的增量数据，目前大多采用与历史文件进行HASH比对的方式得到。目前这部分的数据提取的方式主要是，对文件进行分块，进而与之前版本进行HASH比对来定位变化块，这种方式能够满足提取增量数据的要求，但由于需要进行HASH计算与比对，整体提取过程过于缓慢，同时也由于它是分块定位的，增量提取时往往工作量比较大。

发明内容

有待于此，本发明要解决的技术问题是提供一种文件增量截获方法和装置，该文件增量截获方法和装置能够动态截获文件增量，与目前的增量提取方法相比提取增量数据更加及时，准确和快速。

为了解决上述问题，本发明实施例提供了一种文件增量截获装置，其特征在于，该装置包括配置模块、监控模块、判定模块、截获模块和增量获取模块，其中：

所述配置模块设置成：配置需要截获的文件目录；

所述监控模块设置成：监控写入事件，根据文件结构体得到当前发生写入事件的文件的文件名；

所述判定模块设置成：将当前发生写入事件的文件的文件名与所配置的需要截获的文件目录进行比对，确定是否需要对当前发生写入事件的文件进行增量截获；

所述截获模块设置成：所述判定模块判定需要对当前发生写入事件的文件进行增量截获时，截获当前发生写入事件的文件，并将截获的文件复制一份进行缓存；

所述增量获取模块设置成：对缓存的文件进行增量获取。

可选地，所述判定模块设置成按照以下方式将当前发生写入事件的文件的文件名与所配置的需要截获的文件目录进行比对，确定是否需要对当前发生写入事件的文件进行增量截获：

若当前发生写入事件的文件的文件名在需要截获的文件目录中或当前发生写入事件的文件的文件名为需要截获的文件目录中的文件或文件夹的子文件或子文件夹，则确定需要进行增量截获；否则，不需要进行增量截获。

可选地，所述截获模块还设置成：

截获当前发生写入事件的文件，并将截获的文件复制一份进行缓存的同时，放行该文件；

所述判定模块判定不需要对当前发生写入事件的文件进行增量截获时，直接放行该文件。

可选地，该装置还包括增量处理模块，其中：

所述增量处理模块设置成：对获取的文件增量进行处理；

所述处理包括对所述文件增量进行写操作，写入相应的文件，还包括对该文件增量进行分析。

可选地，所述需要截获的文件目录中的文件或文件夹为非结构化数据文件或文件夹。

本发明实施例还提供了一种文件增量截获方法，其特征在于，该方法包括：

配置需要截获的文件目录；

一旦发生写入事件，则根据文件结构体得到当前发生写入事件的文件的文件名；

将当前发生写入事件的文件的文件名与所配置的需要截获的文件目录进行比对，确定是否需要对当前发生写入事件的文件进行增量截获，若需要，则截获当前发生写入事件的文件，并将截获的文件复制一份进行缓存，之后对缓存的文件进行增量获取。

可选地，将当前发生写入事件的文件的文件名与所配置的需要截获的文件目录进行比对，确定是否需要对当前发生写入事件的文件进行增量截获的步骤包括：

将当前发生写入事件的文件的文件名与所配置的需要截获的文件目录进行比对，若当前发生写入事件的文件的文件名在需要截获的文件目录中或当前发生写入事件的文件的文件名为需要截获的文件目录中的文件或文件夹的子文件或子文件夹，则确定需要进行增量截获；否则，不需要进行增量截获。