[发明专利]搭建HBase灾备集群的方法

说明书

本发明涉及搭建HBase灾备集群的方法，包括：S1．针对只有写入操作的生产集群，新建一套没有数据的供灾备使用的灾备集群；S2．配置所述生产集群和灾备集群之间的与实时复制相关的参数；S3．以轮询方式重启生产集群的所有节点，生产集群的所有节点重启全部完成后，生产集群新写入的数据会实时复制到灾备集群；S4．通过命令将生产集群中的数据导出，再通过命令将所述导出的数据导入到灾备集群中，并且在导入时，导入数据将覆盖通过步骤S3已经复制到灾备集群的相同数据。本发明在进行数据迁移时不需要中断生产集群的业务，有效避免了对生产集群中业务连续性的影响，并且也保证了两个集群数据的一致性。

技术领域

本发明涉及IT系统灾备技术，具体讲是搭建HBase灾备集群的方法。

背景技术

灾备系统是指在相隔较远的异地，建立两套或多套功能相同且可以互相之间进行功能切换的IT系统，当一处系统因意外（如火灾、地震等）停止工作时，整个系统可以切换到另一处，使得该系统功能可以继续正常工作。

HBase是目前非常流行的一个分布式的、面向列的NoSQL数据库，是Apache社区的顶级开源项目，其应用场景主要是海量数据的存储和高并发条件下的根据固定条件的检索。

在搭建HBase的灾备集群之前，往往存在一套已经运行了较长时间并存储了较多数据的正在承载业务运行的HBase集群。通常把先存在并承载业务运行的HBase集群叫HBase生产集群，把后搭建的供数据实时复制备份并在生产集群不可用时可以承载业务运行的HBase集群叫HBase灾备集群。一般搭建HBase灾备集群的方法是，将先新搭建一套空的（没有数据的）供灾备使用的HBase集群，再将现有HBase生产集群上的业务停服一段时间（即：停止上层应用对HBase生产集群的读写操作），从而保证生产集群的数据不再变化。接着，将生产集群的全部数据通过导入、导出命令迁移复制到HBase灾备集群中，然后配置生产集群和灾备集群之间的HBase Replication，并重启两套集群。其中迁移复制历史数据和配置HBase Replication这两个步骤的先后顺序可以交换。最后再恢复HBase生产集群上的业务。由于生产集群的数据量往往较大（通常TB级），因此数据迁移复制时间较长会造成HBase生产集群上的业务停服较长，这种搭建HBase灾备集群的方法对业务连续性影响较大。

发明内容

本发明提供了一种搭建HBase灾备集群的方法，以解决现有方法中进行数据迁移时需要业务停止时间较长的问题。

本发明搭建HBase灾备集群的方法，包括：

S1．针对只有写入操作的HBase生产集群，新建一套没有数据的供灾备使用的HBase灾备集群；

S2．配置所述HBase生产集群和HBase灾备集群之间的与实时复制相关的参数；

S3．以轮询方式重启HBase生产集群的所有节点，HBase生产集群的所有节点重启全部完成后，HBase生产集群新写入的数据会实时复制到HBase灾备集群；

S4．通过HBase生产集群的Export命令将HBase生产集群中的数据导出，再通过HBase灾备集群的导入命令将所述导出的数据导入到HBase灾备集群中，并且在导入时，导入数据将覆盖通过步骤S3已经复制到HBase灾备集群的相同数据。