[发明专利]一种将HDFS文件进行异地全量备份与恢复的方法

说明书

本发明公开一种将HDFS文件进行异地全量备份与恢复的方法，涉及文件备份与恢复技术领域。针对HDFS文件遇到不可抗拒因素时发生无法访问或丢失的问题，采用方案为：将HDFS集群的客户端目录拷贝到集群之外的异地linux主机上，并配置异地linux与HDFS集群主机的互通；设计全量备份操作的数据结构，设计数据库表的存储结构；选择HDFS文件系统中需要备份的文件，将该文件的备份操作记录写入关系数据库mysql，异地linux主机执行客户端中的命令，备份文件到指定的存储目录；选择HDFS文件系统中需要恢复的文件，将该文件的恢复操作记录写入关系数据库mysql，异地linux主机调用HDFS集群的客户端恢复文件到指定的存储目录。本发明可以为HDFS文件提供异地备份与恢复功能。

技术领域

本发明涉及文件备份和恢复技术领域，具体的说是一种将HDFS文件进行异地全量备份与恢复的方法。

背景技术

随着大数据时代的到来，数据信息日益重要，数据保护问题日渐突出，各种灾难性事件给用户敲醒很多警钟。数据保护、数据的容灾是非常重要的话题。

HDFS(Hadoopdistributedfilesystem，Hadoop，分布式文件系统)被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

HDFS可由成百上千台服务器组成，每台服务器都存储文件系统的部分数据。一般用于提供HDFS服务的服务器部署在一个机房里，如果遇到不可抗拒的因素，存储在HDFS的数据有可能会无法访问或者丢失。

部署HDFS集群时，在每个主机节点的相同位置都有一份HDFS的安装目录，并且内容完全相同，其包含操作HDFS集群及集群存储的文件的相关操作命令。该目录即HDFS客户端，可复制到任意linux主机。

基于此，设计研发一种将HDFS文件进行异地全量备份与恢复的方法，避免HDFS文件遇到不可抗拒因素时发生无法访问或丢失的问题。

发明内容

本发明针对目前技术发展的需求和不足之处，提供一种将HDFS文件进行异地全量备份与恢复的方法。

本发明的一种将HDFS文件进行异地全量备份与恢复的方法，解决上述技术问题采用的技术方案如下：

一种将HDFS文件进行异地全量备份与恢复的方法，将HDFS分布式文件系统和关系数据库mysql进行整合，文件全量备份的操作记录存储到mysql的表中，全量备份的文件存储到异地linux主机中，通过java API提供备份操作记录的存储、更新、删除以及查询功能，通过java API提供备份文件的全量备份与恢复功能。

可选的，所涉及一种将HDFS文件进行异地全量备份与恢复的方法，其具体实现流程包括：

步骤1、将HDFS集群的客户端目录拷贝到集群之外的异地linux主机上，并且配置异地linux可以与HDFS集群主机互通；

步骤2、设计全量备份操作的数据结构，设计数据库表的存储结构；

步骤3、选择HDFS文件系统中需要备份的文件，将该文件的备份操作记录写入关系数据库mysql，异地linux主机执行客户端中的命令，备份文件到指定的存储目录；

步骤4、选择HDFS文件系统中需要恢复的文件，将该文件的恢复操作记录写入关系数据库mysql，异地linux主机调用HDFS集群的客户端恢复文件到指定的存储目录。

进一步的，执行步骤3，选择HDFS文件系统中需备份的文件，写入关系数据库mysql，异地linux主机执行客户端中的命令，备份文件到指定的存储目录，这一过程包括：