[发明专利]MongoDB到HBase的分布式高容错数据实时同步方法

摘要

本发明公开了一种MongoDB到HBase的分布式高容错数据实时同步方法，包括：开启MongoDB的oplog操作日志记录功能；生产者将MongoDB中oplog的检查点之后的记录读取出来，将各条oplog推送到Kafka的预定主题，同时写入Redis；oplog进入Storm后，判断该条oplog的操作类型，针对涉及数据同步的操作类型，获取适合HBase存储的键‑值以及数据定位信息，或者仅获取数据定位信息；HBase writer接受传来的键‑值及数据定位信息，进行相应处理。本发明高效地进行从MongoDB到HBase数据实时同步，保证数据同步的准确性，能够满足业务系统复杂的数据实时同步要求。

主权项

1.一种MongoDB到HBase的分布式高容错数据实时同步方法，其特征在于，包括：步骤S1，开启MongoDB的oplog操作日志记录功能；步骤S2，生产者读取出MongoDB中预设检查点之后的多条oplog，将各条oplog推送到Kafka的预定主题，同时写入Redis；步骤S3，Storm作为消费者订阅Kafka的预定主题，oplog进入Storm后，判断该条oplog的操作类型，针对涉及数据同步的操作类型，获取适合HBase存储的键‑值以及数据定位信息，或者仅获取数据定位信息；步骤S4，HBase writer接受根据步骤S3获取的键‑值及数据定位信息，若传入的键‑值信息为空，则HBase writer将指定位置的一行数据删除，若不为空，则将传入的键‑值写入指定位置；在数据写入成功后，HBase writer根据传入的信息重新拼接出第一时间戳+名称空间+oid作为键，并删除Redis中对应的记录；若数据写入失败，则不做任何处理；步骤S5，一条oplog处理完成后，返回步骤S3，直至所有oplog处理完成后。