[发明专利]数据库之间的数据同步方法和系统

说明书

本申请数据同步技术领域，特别是涉及一种数据库之间的数据同步方法和系统。该方法包括：源服务器读取源数据库的日志文件，并将所述日志文件解析成可识别文本；所述源服务器从所述可识别文本中筛选SQL语句，并将获得的SQL语句转换成标准SQL语句；所述源服务器将所述标准SQL语句封装成订阅消息并发送至kafka集群；所述kafka集群在接收到所述订阅消息后，向各目标服务器进行广播；所述目标服务器在获得所述订阅消息后，对所述订阅消息进行解封装得到所述标准SQL语句，执行标准SQL语句，以将源数据库中发送变化的数据同步至目标数据库。采用本方法能确保在不同数据库集群中进行数据同步时，达到实时同步的效果。

技术领域

本申请涉及数据同步技术领域，特别是涉及一种数据库之间的数据同步方法和系统。

背景技术

在当前的互联网时代，许多企业在网上为广大用户提供数字服务，使得数据访问需求量呈井喷式增长，核心数据库往往无法支撑如此大的并发操作，为此许多互联网和金融等企业建立多个跨区域的目标数据库，将大量业务数据从核心数据库转移到相应区域的目标数据库中。

为确保企业业务的正常运转，核心数据库与各区域的目标数据库之间需要实现数据同步，保证数据需的完整性和统一性。传统的数据同步方案中，数据同步主要是同一个数据库集群内的主从服务器之间互相进行数据同步。然而，在不同数据库集群中进行数据同步时，由于无法达到数据实时同步而影响企业业务的正常运转。

发明内容

基于此，有必要针对上述技术问题，提供一种数据库之间的数据同步方法和系统，能够确保在不同数据库集群中进行数据同步时，达到实时同步的效果。

一种数据库之间的数据同步方法，所述方法包括：

源服务器读取源数据库的日志文件，并将所述日志文件解析成可识别文本；

所述源服务器从所述可识别文本中筛选SQL语句，并将获得的SQL语句转换成标准SQL语句；筛选的所述SQL语句用于对数据库中发生变化的数据进行操作；

所述源服务器将所述标准SQL语句封装成订阅消息并发送至kafka集群；

所述kafka集群在接收到所述订阅消息后，向各目标服务器进行广播；

所述目标服务器在获得所述订阅消息后，对所述订阅消息进行解封装得到所述标准SQL语句，执行所述标准SQL语句，以将所述源数据库中发送变化的数据同步至目标数据库。

在其中一个实施例中，所述SQL语句至少包括以下之一：新增语句、插入语句和删除语句；所述源服务器从所述可识别文本中筛选SQL语句，并将获得的SQL语句转换成标准SQL语句包括：

所述源服务器获取与所述新增语句、插入语句和/或删除语句对应的关键词；

所述源服务器从所述可识别文本中筛选与所述关键词匹配的SQL语句，或者，将可识别文本中与所述关键词不匹配的SQL语句进行过滤，得到筛选的SQL语句，并将获得的SQL语句转换成标准SQL语句。

在其中一个实施例中，所述标准SQL语句，至少包括以下之一：标准的新增语句、标准的插入语句和标准的删除语句；

所述执行所述标准SQL语句，以使所述业务数据从所述源数据库同步至目标数据库包括：

所述目标服务器执行所述标准的新增语句，以将所述源数据库中更新的业务数据同步更新至目标数据库；和/或，

所述目标服务器执行所述标准的插入语句，以将所述源数据库中插入的业务数据同步插入至目标数据库；和/或，

所述目标服务器执行所述标准的删除语句，以删除目标数据库中与所述源数据库中被删除的业务数据相对应的数据。

在其中一个实施例中，还包括：