[发明专利]一种Hadoop集群文件备份系统及方法

权利要求书

1.一种Hadoop集群文件备份系统，包括：

Hadoop集群，遍历Hadoop集群Hadoop文件系统上需备份的目录，获取相关文件信息并发送到备端主节点比较，以得到本次需备份的文件列表信息暂存至一Hadoop临时文件列表中，逐条处理所述Hadoop临时文件列表信息，根据分配到的目标数据节点建立相应连接，将所述Hadoop临时文件列表信息中各文件的数据发送至分配到的备端数据节点；

备端主节点，于接收到所述Hadoop集群发送的文件信息时，查询本地存储的文件状态数据库，获得相应的备端文件的信息，并将所述Hadoop集群发送来的文件信息与获得的备端文件的文件信息比对，得到本次需要备份的文件列表信息发送至所述Hadoop集群以暂存至所述Hadoop临时文件列表中；

若干备端数据节点，用于接收处理所述Hadoop集群发送的文件数据，并与所述备端主节点之间进行状态的同步。

2.如权利要求1所述的一种Hadoop集群文件备份系统，其特征在于：于所述Hadoop集群，运行mapreduce任务，通过mapper读取所述Hadoop临时文件列表信息，以及通过运行在mapper里的基于行为的NIO框架将所述Hadoop临时文件列表信息中各文件的数据发送到对应的备端数据节点。

3.如权利要求2所述的一种Hadoop集群文件备份系统，其特征在于：所述备端主节点生成需要处理的文件列表发送至所述Hadoop集群的同时，还根据文件目标节点指派算法进行备端数据节点分配，各备端数据节点则根据文件目标节点指派算法接收所述Hadoop集群发送的文件数据。

4.如权利要求3所述的一种Hadoop集群文件备份系统，其特征在于：所述备端数据节点接收所述Hadoop集群发送的文件数据时，根据地址先写入数据到一临时文件中，当监控到文件传输完成时，更名所述临时文件或者追加内容。

5.如权利要求4所述的一种Hadoop集群文件备份系统，其特征在于：所述备端主节点于接收到本次备份任务结束标识时，发送本次备份任务结束标识至各备端数据节点，接收各备端数据节点上传的状态报告并汇总保存。

6.如权利要求5所述的一种Hadoop集群文件备份系统，其特征在于：当各备端数据节点接收到所述备端主节点发送的本次备份任务标识时，检查所有文件状态，生成状态报告上传所述备端主节点。

7.如权利要求1所述的一种Hadoop集群文件备份系统，其特征在于：所述备端数据节点开启一个或者多个，或者只启动所述备端主节点同时作为备端数据节点。

8.一种Hadoop集群文件备份方法，包括如下步骤：

步骤S1，遍历Hadoop集群的Hadoop文件系统上需备份的目录，获取相关文件信息并发送到备端主节点；

步骤S2，所述备端主节点于接收到所述Hadoop集群发送的文件信息时，查询本地存储的文件状态数据库，获得相应的备端文件的信息，并将所述Hadoop集群发送来的文件信息与本地存储的备端文件的信息比对，得到本次需要备份的文件列表信息发送至所述Hadoop集群以暂存至所述Hadoop临时文件列表中；

步骤S3，逐条处理所述Hadoop临时文件列表信息，根据分配到的目标数据节点建立相应连接，将所述Hadoop临时文件列表信息中各文件的数据发送至分配到的备端数据节点；

步骤S4，各备端数据节点根据文件目标节点指派算法接收并存储所述Hadoop集群发送的文件数据。

9.如权利要求8所述的一种Hadoop集群文件备份方法，其特征在于，于步骤S4之后，还包括如下步骤：

当本次备份任务结束时，所述Hadoop集群发送本次备份任务标识至备端主节点，所述备端主节点于接收到本次备份任务标识时，转寄本次备份任务标识至各备端数据节点，各备端数据节点于接收到本次备份任务标识时，检查所有文件状态，并生成状态报告上传所述备端主节点，由备端主节点汇总状态报告并予以保存。

10.如权利要求9所述的一种Hadoop集群文件备份方法，其特征在于：于步骤S3中，运行mapreduce任务，通过mapper读取所述Hadoop临时文件列表信息，以及通过运行在mapper里的基于行为的NIO框架把所述Hadoop临时文件列表中各文件的数据发送到对应的备端数据节点上。