[发明专利]一种HDFS数据备份恢复系统及备份恢复方法

说明书

本发明涉及一种HDFS数据备份恢复系统及备份恢复方法，该系统中，HDSF单元内HDFS客户端对应与代理客户端连接，多个代理客户端共同与虚拟客户端连接，虚拟客户端与备份服务器连接，多个代理客户端还与备份服务器连接，备份服务器内设有存储介质，备份服务器用于创建备份恢复任务，与代理客户端进行数据交互，对存储介质进行数据管理；虚拟客户端用于将备份恢复任务定位至与多个代理客户端；代理客户端用于执行备份恢复任务，以读取备份对象或写入恢复对象；HDFS客户端用于接收和响应代理客户端的读取或写入操作。与现有技术相比，本发明能够支持多种备份需求和恢复需求，能够对备份数据进行有效管理，且能通过并发执行任务提高备份恢复效率。

技术领域

本发明涉及数据备份恢复技术领域，尤其是涉及一种HDFS数据备份恢复系统及备份恢复方法。

背景技术

FusionInsight HD是一个分布式数据处理系统，对外提供大容量的数据存储、查询和分析能力，HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)是FusionInsight HD的底层存储，为上层应用提供高容错和高吞吐量的存储支持。怎样高效地保证FusionInsight HD的日常数据安全、以及在重大操作的时候保证系统出现异常或未达到预期结果时可以及时进行数据恢复，将业务的影响降低到最低，已经成为了当前HDFS应用的任务之重。

现有的HDFS备份方案都是基于HDFS提供的快照技术，将备份数据保留在HDFS文件系统中或者保存至外部存储中，这种方式存在以下缺点：

1、无法有效管理和利用备份数据；

2、在某些场景下只支持完全备份，且无法根据用户需求进行选择性恢复；

3、当存在多个备份或恢复对象时，备份恢复效率较低。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种HDFS数据备份恢复系统及备份恢复方法，以实现有效管理备份数据、支持多种备份需求以及恢复需求、提高备份恢复效率的目的。

本发明的目的可以通过以下技术方案来实现：一种HDFS数据备份恢复系统，包括设置有多个HDFS客户端的HDFS单元，多个HDFS客户端分别对应与多个代理客户端相互连接，多个代理客户端共同与虚拟客户端相互连接，所述虚拟客户端与备份服务器相互连接，多个代理客户端还分别与备份服务器相互连接，所述备份服务器内设置有用于存储备份数据的存储介质，所述备份服务器用于创建备份恢复任务，与代理客户端进行数据交互，以及对存储介质进行数据管理；

所述虚拟客户端用于将备份恢复任务定位至与其连接的多个代理客户端；

所述代理客户端用于执行备份恢复任务，以读取HDFS备份对象或写入HDFS恢复对象；

所述HDFS客户端用于接收和响应代理客户端提供的读取或写入操作。

进一步地，所述HDFS客户端与代理客户端均位于同一台设备上。

一种HDFS数据备份方法，包括以下步骤：

A1、根据用户选择的需要保护的数据源、备份高级参数和备份类型，由备份服务器发起备份任务，并将对应的备份指令发送给与虚拟客户端连接的多个代理客户端；

A2、多个代理客户端分别从对应的HDFS客户端获取HDFS当前时间；

A3、多个代理客户端根据接收的备份指令，确认备份模式；

A4、根据备份模式，多个代理客户端分别通过对应的HDFS客户端获取备份时间对象，并将HDFS当前时间点信息传输给备份服务器、写入存储介质中；

A5、各代理客户端通过分析备份任务中的数据源，产生备份对象列表；