[发明专利]一种数据同步方法、装置、设备及存储介质

说明书

本申请实施例提供的一种数据同步方法、装置、设备及存储介质，所述方法包括获取第一数据库的预写日志中待同步的修改信息；获取预设待同步配置信息，并根据预设待同步配置信息确定待同步的修改信息是否为目标数据表的修改信息；若是目标数据表的修改信息，根据预设待同步配置信息确定目标数据表的修改信息中是否有目标数据的修改信息；若有目标数据的修改信息，则根据预设待同步配置信息将目标数据的修改信息的数据格式分别转换为至少一个第二数据库的目标数据格式，并向至少一个第二数据库发送对应的目标数据的修改信息。这样一来，可以实现与第一数据库异构的至少一个第二数据库与第一数据库间的数据同步，提高数据同步的效率。

技术领域

本申请涉及信息技术领域，具体地涉及一种数据同步方法、装置、设备及存储介质。

背景技术

随着互联网行业的飞速发展，各行业逐渐实现了数据信息化。而HBase数据库作为一种长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合，可以实现对海量数据信息的存储、组织和管理。在对存储在HBase数据库中的数据进行查询、分析等操作时，若直接对存储在HBase数据库中的数据进行相应的操作，由于数据的数量十分庞大，工作效率将会非常低。因此，通常会将HBase数据库中不同类型的数据分别同步至其他不同的数据库中，当需要使用某种类型的数据进行数据处理时，可以直接在能够进行相应数据处理的数据库中对存储的该类型的数据执行操作，不必在HBase数据库存储的所有数据中搜索需要的数据，可以提高工作效率。例如，可以将HBase数据库中的搜索热点数据同步至查询数据库中，那么在进行查询时，可直接在查询数据库进行搜索，节省了数据处理的时间。并且，由于不同类型的数据库能够实现的功能不同，所采用的计算机环境也由不同平台组成，导致上述不同类型的数据库存储的数据的数据格式不完全相同，因此不同数据库间存储的数据属于异构数据。为了使得异构数据库中存储的数据与HBase数据库中与异构数据库相关联的数据始终保持一致，从而保证异构数据库中存储的数据的准确性，因此需要进行HBase数据库与异构数据库间的数据同步。

现有技术中，HBase数据库包括主集群与备集群，当HBase数据库的主集群中存储了非常重要的业务数据的时候，为了保护数据可以对数据进行备份处理，此时可以将主集群中的数据同步至备集群中进行备份，并且，在HBase数据库中主集群的数据发生修改时，需要将修改的数据同步至备集群中。目前，可以通过HBase Replication数据复制技术实现主备集群建的数据同步。由于WAL(Write ahead Log)预写日志中记录了所有的HBase数据库中数据的修改记录，因此HBase Replication根据读取WAL日志的内容，从而将主集群中发生修改的数据同步至备集群。

在进行数据同步时，HBase Replication在主集群的服务内部起了一个Replication Source的线程来负责复制，同时在备集群的每个服务内部起了一个Replication Sink的线程来负责接收Replication Source复制的数据。即，ReplicationSource记录WAL预写日志中需要同步的主集群中的修改数据的位置信息，然后不断读取WAL预写日志中的内容，同时可以根据Replication的预设配置过滤掉主集群中的修改数据中无需同步至备集群的数据，只保留主集群中的修改数据中需要同步至备集群的数据。通过Replicate WAL Entry这个远程过程调用(Remote Procedure Call，RPC)将需要同步至备集群的数据发送至备集群的服务器，备集群的ReplicationSink线程则负责将收到的数据写入到备集群中。

通过上述HBase Replication技术可以实现HBase数据库的主备集群间的数据同步，但是该项技术的数据格式及传输协议仅支持HBase数据库本身，即，仅支持HBase数据库的主备集群间的数据同步。也就是说，当HBase数据库与异构数据库间需要进行数据同步时，由于异构数据库的数据格式与HBase数据库不同，因此通过HBase Replication技术无法实现HBase数据库与异构数据库间的进行数据同步。

发明内容