[发明专利]数据同步方法、装置及电子设备

说明书

本发明涉及数据处理技术领域，具体涉及数据同步方法、装置及电子设备，所述方法包括获取并存储目标同步数据以及所要连接的多个目标数据库的配置信息；创建多个目标线程；根据所述目标数据库的配置信息以及所述多个目标线程，将所述目标同步数据同步至所述目标数据库中。在获取到目标同步数据之后对其进行存储，分摊源数据库的负载压力，增强其系统健壮性，即使源数据库或本地发生宕机时，只要有其一还正常工作变能完成数据的同步，保证了数据同步的可靠性；同时利用多个目标线程进行数据同步，实现并行同步数据，极大地提升了同步速率。

技术领域

本发明涉及数据处理技术领域，具体涉及数据同步方法、装置及电子设备。

背景技术

出于对数据分析的需要，通常需要获取大量的数据，而在实际的生产过程中，为保证生产环境的稳定，又或者出于项目的需要使用与源数据库完全不一样的数据库，则往往不会对存放生产数据的源数据库直接进行数据操作，而是将源数据库A里需要分析的数据经过粗筛后同步到另一个非生产用的数据库B里再进行数据操作。

不同的项目对源数据库A的数据有不同的需求，即源数据库A需要定向同步至多个非生产用的数据库B、数据库C、数据库D等。如图1所示，现有的数据同步方法为在需要进行数据同步时，通过中间服务器里的同步执行脚本，从源数据库A里拉取所需数据，经过脚本转换为符合非生产用数据库B、C、D语法规则的数据，再插入对应的非生产用数据库中。这种方法在面对千亿级数据量时，对源数据库A负载压力较大，严重时会影响到生产环境的使用。若因为不可抗力因素导致正在同步中的源数据库A或中间服务器宕机，则会导致数据损坏且无法校对，此时同步方案将完全不可用，影响后续处理。

发明内容

有鉴于此，本发明实施例提供了一种数据同步方法、装置及电子设备，以解决数据同步的可靠性及效率较低的问题。

根据第一方面，本发明实施例提供了一种数据同步方法，包括：

获取并存储目标同步数据以及所要连接的多个目标数据库的配置信息；

创建多个目标线程；

根据所述目标数据库的配置信息以及所述多个目标线程，将所述目标同步数据同步至所述目标数据库中。

本发明实施例提供的数据同步方法，在获取到目标同步数据之后对其进行存储，分摊源数据库的负载压力，增强其系统健壮性，即使源数据库或本地发生宕机时，只要有其一还正常工作变能完成数据的同步，保证了数据同步的可靠性；同时利用多个目标线程进行数据同步，实现并行同步数据，极大地提升了同步速率。

结合第一方面，在第一方面第一实施方式中，所述创建多个目标线程，包括：

获取本地的性能数据，所述性能数据包括CPU核数、I/O耗时以及CPU耗时；

基于所述性能数据确定开启的目标线程的数量，以创建所述多个目标线程。

本发明实施例提供的数据同步方法，利用本地性能数据确定所开启的目标线程的数量，因为上下文的切换开销非常重要，若创建了太多的线程，则CPU花费在上下文的切换时间将多于执行程序的时间，甚至会导致堆内存溢出报错，保证了数据同步的效率。

结合第一方面第一实施方式，在第一方面第二实施方式中，所述基于所述性能数据确定开启的目标线程的数量，以创建所述多个目标线程，包括：

利用确定出的目标线程的数量，创建所述多个目标线程；

创建线程池以及计数器；

基于所述线程池以及所述计数器控制所述多个目标线程的处理。

本发明实施例提供的数据同步方法，利用线程池以及计数器对多个目标线程控制，以保证数据同步的可靠性以及提高资源利用率。