[发明专利]一种数据冷备方法及装置

说明书

技术领域

本发明涉及网络通信中的数据处理技术，尤其涉及一种数据冷备方法及装置。

背景技术

在信息技术与数据管理领域，备份指将文件系统或数据库系统中的数据加以复制；一旦发生灾难或错误操作时，得以方便而及时地恢复系统的有效数据和正常运作。

备份可以包括如下类型：全部备份，即把硬盘或数据库内的所有档案、资料夹或数据作一次性的复制；增量备份，指对上一次全部备份后更新的数据进行备份；选择式备份，对系统的一部分进行备份；冷备份：系统处于停机或维护状态下的备份，这种情况下，备份的数据与系统中此时段的数据完全一致；热备份：系统处于正常运转状态下的备份，这种情况下，由于系统中的数据可能随时在更新，备份的数据相对于系统的真实数据可有一定滞后。

现有的数据冷备过程，是通过运行工作人员编写的脚本，将需冷备的数据逐一复制到磁盘中，进行备份。首先，复制过程中，需要在完成上一文件的复制后，才能开始下一个文件的复制，因此，导致冷备速度慢，冷备效率低；其次，将冷备数据在磁盘中进行备份之前，需要工作人员预先根据磁盘空间设置存储区域，如此，通过人为的方式设置存储区域，不仅效率低，耗费人力，而且很难合理使用磁盘空间，从而造成磁盘使用率低。

发明内容

有鉴于此，本发明的主要目的在于提供一种数据冷备方法及装置，能够提高冷备速度、冷备效率及冷备资源的利用率。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种数据冷备方法，所述方法包括：

生成包含有预先配置的冷备数据参数的冷备任务；

将所述冷备任务拆分成至少一个子任务；

分别执行所述至少一个子任务，从冷备数据源获取相应的冷备数据，并对所述冷备数据进行分布式存储。

在上述方案中，所述将所述冷备任务拆分成至少一个子任务，为：对所述冷备任务进行映射简化MapReduce处理，将所述冷备任务拆分成至少一个映射Map任务，所述一个Map任务包含有所述冷备任务中部分或全部的冷备数据参数。

在上述方案中，分别执行所述至少一个Map任务，从冷备数据源获取相应的冷备数据，并对所述冷备数据进行分布式存储，包括：执行当前Map任务，调用冷备模块，根据当前Map任务中的冷备数据参数，从冷备数据源获取相应的冷备数据，发送用于指示对所述冷备数据进行分布式存储的冷备指令；对所述冷备数据进行分布式存储处理，并向所述冷备模块返回包含存储结果的响应。

在上述方案中，所述从冷备数据源获取相应的冷备数据之后，所述方法还包括：将所述冷备数据暂时保存到存储模块；所述对所述冷备数据进行分布式存储处理之前，所述方法还包括：从所述存储模块读取所述冷备数据，建立用于存储所述冷备数据的文件，并将所述文件存储到预先设置的用于存放冷备数据文件的目录下；所述对所述冷备数据进行分布式存储处理，包括：对用于存储所述冷备数据的文件进行分布式存储处理，分配到至少一个节点服务器上进行存储。

在上述方案中，所述向所述冷备模块返回包含存储结果的响应之后，包括：在向所述冷备模块返回包含存储失败的响应后，冷备模块重新发送用于指示对所述冷备数据进行分布式存储的冷备指令；之后，重新对所述冷备数据进行分布式存储处理。

本发明还提供了一种数据冷备装置，所述装置包括：分布式存储模块、拆分模块和冷备模块，其中，分布式存储模块，用于生成包含有预先配置的冷备数据参数的冷备任务，并调用所述拆分模块；以及，对从冷备数据源获取相应的冷备数据进行分布式存储；拆分模块，用于将所述冷备任务拆分成至少一个子任务，并分别执行所述至少一个子任务，调用所述冷备模块从冷备数据源获取相应的冷备数据。

在上述方案中，所述拆分模块具体为MapReduce模块，用于对所述冷备任务进行MapReduce处理，将所述冷备任务拆分成至少一个Map任务，所述一个Map任务包含有所述冷备任务中部分或全部的冷备数据参数。

在上述方案中，所述MapReduce模块，还用于执行当前Map任务，调用冷备模块，并将当前Map任务中的冷备数据参数传递给所述冷备模块；所述冷备模块，用于根据所述MapReduce模块传递的冷备数据参数，从冷备数据源获取相应的冷备数据，并发送用于指示对所述冷备数据进行分布式存储的冷备指令给所述分布式存储模块；所述分布式存储模块，用于在接收到所述冷备指令后，对所述冷备模块获取的冷备数据进行分布式存储处理，并向所述冷备模块返回包含存储结果的响应。