[发明专利]同步数据的方法、系统及相关数据库

说明书

本发明提供了一种同步数据的方法、系统及相关数据库，该同步方法，应用于具有主从结构的数据库，其中从数据库上的至少两个传输接口被激活，以接收主数据库传输的数据，所述方法包括：从所述主数据库获取待同步数据，并根据所述待同步数据生成多个同步任务；调用至少两个并发的线程，根据预设规则分配所述多个同步任务至所述至少两个并发的线程中；利用所述至少两个并发的线程，发送所述多个同步任务至所述从数据库，以供所述从数据库根据所述多个同步任务实现与所述主数据库间的数据同步。本发明实施例提供的技术方案解决了主从数据库单线程同步延时的问题，能够实现实时同步，进而满足后续提供数据服务的需求。

技术领域

本发明涉及计算机技术领域，特别是一种同步数据的方法、系统及相关数据库。

背景技术

MySQL是一种关系型数据库管理系统，其主从架构是目前使用最多的数据库架构之一，尤其是对于负载量比较大的网站。MySQL在主从架构中，主数据库进行写入、更新、删除等操作，并通过预定的同步策略将这些操作在从数据库也执行一遍，从而达到主从数据库中数据的一致性。

相关技术中，MySQL主从数据库同步的过程为：MySQL主数据库上有写入、更新、删除等操作后，其自身会将这些操作记录到binary log(二进制日志)里，如图1所示，为了保证同步数据的准确性，从数据库上只有一个同步线程顺序并实时地读取主数据库的binarylog，并根据binary log的记录顺序在从数据库上回放执行，从而使从数据库和主数据库中的数据保持一致。

然而，当主数据库的写入、更新、删除等操作较多时，尤其是主数据库在大量业务的触发下，对从数据库同步时会产生大量写入需求，但是从数据库同步的时候却只有一个线程在按照binary log的记录顺序在回放并进行写入操作，单线程对数据的处理速度有限，超过其处理速度的数据需进行排队等待，若在存在数据排队的过程仍有大量数据写入，则会进一步增加排队时长。因此，在主数据库写入量很大的时候会因单线程处理速度的限制导致从数据库同步延时，而且因数据量的增加可能会延时越来越大，进而导致无法满足后续提供数据服务的需求。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的同步数据的方法、系统及相关数据库。

依据本发明的一个方面，提供了一种同步数据的方法，应用于具有主从结构的数据库，其中从数据库上的至少两个传输接口被激活，以接收主数据库传输的数据，所述方法包括：获取待同步数据，并根据所述待同步数据生成多个同步任务；调用至少两个并发的线程，其中，各线程分别与所述从数据库上的不同传输接口进行数据传输；依据预设规则分配所述多个同步任务至所述至少两个并发的线程上；以及利用所述至少两个并发的线程，传输所述多个同步任务至所述从数据库上的不同传输接口，以供所述从数据库根据所述多个同步任务实现与所述主数据库间的数据同步。

可选地，所述依据预设规则分配所述多个同步任务至所述至少两个并发的线程上的步骤进一步包括：依据所述多个同步任务中的对象标识分配所述多个同步任务，将具备相同对象标识的同步任务分配至同一个线程中；或者依据所述多个同步任务中的数据表标识分配所述多个同步任务，将具备相同数据表标识的同步任务分配至同一个线程中。

可选地，所述将具备相同对象标识的同步任务分配至同一个线程中的步骤进一步包括：将具备相同对象标识的同步任务按照时序或排序顺序分配至同一个线程中。

可选地，所述将具备相同数据表标识的同步任务分配至同一个线程中的步骤进一步包括：将具备相同数据表标识的同步任务按照时序或排序顺序分配至同一个线程中。

可选地，所述调用至少两个并发的线程，依据预设规则分配所述多个同步任务至所述至少两个并发的线程上的步骤进一步包括：依据所述多个同步任务的数量，调用相应数量的并发的线程；将所述多个同步任务一对一的分配至所述相应数量的并发的线程中。