[发明专利]HBase数据备份恢复的方法和装置

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种HBase(Hadoop Database)数据备份恢复的方法和装置。

背景技术

伴随着海量数据时代的到来，计算模型也经历着多种模式的演变。从单一的计算机到分布式计算的演变过程是持续增长数据量的必然趋势。现阶段，大数据集的分析、管理、挖掘等需求都是传统的数据库无法胜任的，据统计，数据库工具处理的结构化数据是在GB级别上，传统技术无法适应这种扩展性。现拥有的技术和工具中，最成熟的是Hadoop文件存储计算框架及架构于其上的相关组件。Hadoop本身由Hadoop分布式文件系统(HDFS，Hadoop Distributed File System)和分布式计算框架MapReduce组成，其中MapReduce计算框架主要适用于批量文件处理，而在实时数据分析处理方面主要运用的技术是HBase。

HBase是建立在分布式文件系统HDFS之上，是一个提供高可靠性、列存储、高性能、可伸缩、能实时读写的分布式数据库系统。它介于非关系型数据库和关系型数据库之间，能通过主键及主键范围来检索数据。在HBase中的数据是随时间而变化的，如果想要使用某一时间段的数据需要对其进行备份恢复。因此，HBase数据备份恢复是非常重要的。

在HBase中数据是分成两部分存储的，一部分是在内存中，另一部分是以HFile(Hadoop File)文件的形式持久化到HDFS上。因此，在执行数据备份恢复时需将两部分的内容进行备份恢复，但是，现有的HBase数据备份恢复方法在进行HBase数据备份恢复时需要对HBase的服务进行停止，影响用户操作，而且根据HBase中的日志文件进行数据备份恢复，难以保证在备份恢复时两部分内容的数据完整性。

发明内容

为了解决上述技术问题，本发明提供了一种HBase数据备份恢复方法和装置，能够高效且完整地对HBase数据进行备份恢复。

为了达到本发明目的，本发明提供了一种HBase数据备份恢复方法，包括：在HBase数据进行备份时，将HBase内存中的数据刷到HFile文件中；为HBase表结构下的每个Region中的每个HFile文件创建相应的引用文件，对每个HBase表的HFile文件进行备份；在HBase数据进行恢复时，若所需要恢复的数据是持久化数据，根据所需要恢复的数据对应的引用文件，进行持久化数据恢复；若所需要恢复的数据是内存数据，根据日志文件，对HBase内存数据进行恢复。

进一步地，若所需要恢复的数据是持久化数据，根据所需要恢复的数据对应的引用文件，进行持久化数据恢复，包括：若所需要恢复的数据是持久化数据，将所需要恢复的数据对应的引用文件放入HBase表中对应Region文件夹下，进行持久化数据恢复。

进一步地，进行持久化数据恢复是在HBase的Region进行合并时整理成完整的数据，合并操作是将多个HFile文件合并成大文件，在达到HBase合并配置参数值时自动触发。

进一步地，日志文件包括执行操作的HBase表、执行操作的HBase表对应的Region和进行的相应执行操作。

进一步地，若所需要恢复的数据是内存数据，根据日志文件，对HBase内存数据进行恢复，包括：若所需要恢复的数据是内存数据，根据日志文件中对应的HBase表名称和Region名称，将日志文件恢复到相应的Region文件夹下；当引用文件及日志放置到Region文件夹下相应的位置时，启动HBase表，Region被分配到相应的RegionServer中，且Region会读取对应的日志文件到自己内部的MemStore中，完成HBase数据恢复。

一种HBase数据备份恢复装置，包括：备份单元，用于在HBase数据进行备份时，将HBase内存中的数据刷到HFile文件中；为HBase表结构下的每个Region中的每个HFile文件创建相应的引用文件，对每个HBase表的HFile文件进行备份；恢复单元，用于在HBase数据进行恢复时，若所需要恢复的数据是持久化数据，根据所需要恢复的数据对应的引用文件，进行持久化数据恢复；若所需要恢复的数据是内存数据，根据日志文件，对HBase内存数据进行恢复。