[发明专利]数据同步方法和系统

说明书

本公开提供了一种数据同步方法，应用于具有主数据库和从数据库架构的数据库系统，所述方法包括：获取对所述主数据库的操作命令；生成日志，所述日志包括所述写操作命令以及相应的日志序号；将所述日志存储在第一日志队列中；根据从数据库的当前待同步的日志序号从所述第一日志队列中获取相应的日志，其中，所述从数据库根据所述日志序号的顺序依次实现与所述主数据库的数据同步，所述当前待同步的日志序号用于指示所述从数据库要同步的下一个日志；解析所述获取得到的日志，对所述从数据库执行所述日志对应的操作命令。

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种数据同步方法方法和一种数据同步系统。

背景技术

随着计算机技术的快速发展，数据库中存储的数据量越来越大。在数据库服务器具有主从部署架构的情况下，主数据库和从数据库中的数据应当保持一致。

现有技术中通常使用全量复制或者增量复制等方法实现主从数据库的数据同步。例如，在更换主数据库或者从数据库的同步日志已经超过主数据库日志范围时，采用全量复制方法；在主从数据库断开时间较短，数据量更新较小，从数据库的同步日志没有超过主数据库日志范围时，采用增量复制方法。

在实现本发明构思的过程中，发明人发现现有技术中至少存在如下问题，全量复制在数据量较大时，消耗时间较长，并且复制期间不能对外提供服务。在更换主数据库时，属于同一系统的多个从数据库都要进行全量复制，造成资源浪费。

发明内容

有鉴于此，本公开提供了一种优化的数据同步方法和系统。

本公开的一个方面提供了一种数据同步方法，应用于具有主数据库和从数据库架构的数据库系统，所述方法包括：获取对所述主数据库的操作命令，生成日志，所述日志包括所述写操作命令以及相应的日志序号，将所述日志存储在第一日志队列中，根据从数据库的当前待同步的日志序号从所述第一日志队列中获取相应的日志，其中，所述从数据库根据所述日志序号的顺序依次实现与所述主数据库的数据同步，所述当前待同步的日志序号用于指示所述从数据库要同步的下一个日志，以及解析所述获取得到的日志，对所述从数据库执行所述操作命令。

根据本公开的实施例，上述操作命令包括写操作命令，所述写操作命令包括要写入所述主数据库的第一数据，所述对所述从数据库执行所述相应日志对应的操作命令包括：将所述第一数据写入所述从数据库。

根据本公开的实施例，上述第一日志队列在存储的日志数量超过预设阈值时采用先进先出的工作模式。

根据本公开的实施例，上述方法还包括：将所述日志存储在第二日志队列中，所述第二日志队列的存取速度小于所述第一日志队列的存取速度，判断从数据库的当前待同步的日志序号是否存在于所述第一日志队列中，以及在所述从数据库的当前待同步的日志序号不存在于所述第一日志队列中时，从所述第二日志队列中获取与所述当前待同步的日志序号对应的日志。

根据本公开的实施例，上述根据从数据库的当前待同步的日志序号从所述第一日志队列中获取相应的日志，包括：在所述从数据库的当前待同步的日志序号存在于所述第一日志队列中时，从所述第一日志队列中获取与所述当前待同步的日志序号对应的日志。

根据本公开的实施例，上述方法还包括：在对所述从数据库执行所述操作命令之后，更新所述从数据库的当前待同步的日志序号。

根据本公开的实施例，上述方法在具有多个所述数据库系统时，其中：所述日志还包括所述主数据库所属的数据库系统的系统标识，所述根据所述从数据库的当前待同步的日志序号从所述第一日志队列中获取相应的日志，包括：根据所述从数据库所属的数据库系统标识以及所述当前待同步的日志序号从所述第一日志队列中获取相应的日志。