[发明专利]日志同步方法及装置、存储介质、电子设备

权利要求书

1.一种日志同步方法，其特征在于，包括：

从源数据库中读取事务日志并将所述事务日志存储到多个读取环形队列中；

将各所述读取环形队列中的事务日志存储至消费环形队列以及以日志快照的方式将所述读取环形队列中的事务日志存储至本地数据库中，启动转发线程，通过所述转发线程从所述消费环形队列中批量取出所述事务日志；

根据数据源对所述事务日志进行分组，得到多个以各数据源为名称的事务日志文件包；

根据所述以各数据源为名称的事务日志文件包，生成多个执行任务；

将所述执行任务发送到执行线程池中；

执行所述执行任务中包括的日志语句，并将所述以各数据源为名称的事务日志文件包提交到目标数据库中；

记录已成功提交的事务日志所对应的日志编码。

2.根据权利要求1所述的日志同步方法，其特征在于，所述事务日志包括多个数据源，且各所述数据源与各所述读取环形队列一一对应。

3.根据权利要求1所述的日志同步方法，其特征在于，在将所述事务日志存储到多个读取环形队列中之后，所述日志同步方法还包括：

以增量的方式对各所述读取环形队列中的事务日志进行编码。

4.根据权利要求1所述的日志同步方法，其特征在于，在将所述事务日志存储到多个读取环形队列中之前，所述日志同步方法还包括：

对所述事务日志进行解析，并将解析后的所述事务日志进行格式化处理。

5.根据权利要求1所述的日志同步方法，其特征在于，将各所述读取环形队列中的事务日志存储至消费环形队列中包括：

将各所述读取环形队列中的事务日志对应的日志编码发送至所述消费环形队列；

判断各所述日志编码对应的事务日志是否存在于所述读取环形队列中；

在判断各所述日志编码对应的事务日志存在于所述读取环形队列中时，将各所述日志编码对应的事务日志存储至消费环形队列中；

在判断各所述日志编码对应的事务日志不存在于所述读取环形队列中时，从所述本地数据库中获取各所述日志编码对应的事务日志并将该事务日志存储至消费环形队列中。

6.根据权利要求1所述的日志同步方法，其特征在于，将所述消费环形队列中的事务日志发送至与目标数据库建立连接的线程包括：

启动与所述目标数据库建立连接的线程并从所述消费环形队列中取出所述事务日志；

将所述事务日志生成执行任务并将所述执行任务发送至所述线程。

7.根据权利要求1所述的日志同步方法，其特征在于，在从源数据库中读取事务日志之前，所述日志同步方法还包括：

启动与所述源数据库建立连接的线程并向所述源数据库发送读取事务日志的读取请求。

8.一种日志同步装置，其特征在于，包括：

读取模块，用于从源数据库中读取事务日志并将所述事务日志存储到多个读取环形队列中；

发送模块，用于将各所述读取环形队列中的事务日志存储至消费环形队列以及以日志快照的方式将所述读取环形队列中的事务日志存储至本地数据库中，启动转发线程，通过所述转发线程从所述消费环形队列中批量取出所述事务日志；

根据数据源对所述事务日志进行分组，得到多个以各数据源为名称的事务日志文件包；

根据所述以各数据源为名称的事务日志文件包，生成多个执行任务；

将所述执行任务发送到执行线程池中；

写入模块，用于执行所述执行任务中包括的日志语句，并将所述以各数据源为名称的事务日志文件包提交到目标数据库中；

记录已成功提交的事务日志所对应的日志编码。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的日志同步方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的日志同步方法。