[发明专利]数据同步方法、装置、设备及存储介质

说明书

本发明提供了一种数据同步方法、装置、设备及存储介质，涉及数据处理技术领域。该方法包括：通过流式查询获取所述源数据库的数据，所述源数据库中的所述数据为分块分片设置；向所述目标数据库发送所述数据。本发明可以在分布式数据库数据同步时，提高大数据量时的同步效率。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据同步方法、装置、设备及存储介质。

背景技术

随着信息技术的发展以及计算机应用的普及，信息安全的事故频繁的发生，信息安全逐渐成为大众眼中关注的焦点。IT软件为了满足数据的安全性，保证可维护性，同时为了满足不同的功能模块可以的协同工作，往往采用分布式数据库的方式，既可以满足对一致性要求较高的业务场景，需要同时对多个数据源进行读写，也可以满足容灾的基础，防止系统出现失误或系统故障而导致数据的丢失。可以有效的提高数据库的I/O吞吐效率，增加系统的速度，也满足数据备份的需求。

但目前的分布式数据库的数据同步方法在数据量较小时，可以很好的实现数据的同步。但是在实际的业务场景中，需要处理的数据量一般都较大，若一次性取出全部数据，不但会导致JVM内存的溢出而且数据库需要一次性将所有数据放入缓存池中，既消耗缓存空间，而且消耗时间。若批量从数据库读取数据时，多次访问数据库给数据库带来较大的I/O通信压力，影响系统的整体效率。

发明内容

基于上述现有技术存在的问题，本发明实施例提供一种数据同步方法、装置、设备及存储介质，可以在分布式数据库数据同步时，提高大数据量时的同步效率。

第一方面，本发明实施例提供一种数据同步方法，所述方法包括：

通过流式查询获取所述源数据库的数据，所述源数据库中的所述数据为分块分片设置；

向所述目标数据库发送所述数据。

基于该第一方面的方法，由于流式查询能够逐条获取源数据库的数据，因此可以避免对源数据库的数据一次性放入缓冲池中，从而减小时间消耗。并且，能够避免对源数据库的数据批量读取，从而减小源数据库的通信压力，从而提高数据同步的效率。并且，在数据库中数据采用分块分片设置，能够在获取数据之后需要对其进行处理时，更方便的采用多设备多线程处理。

可选地，向所述目标数据库发送所述数据，包括：

当所述数据的数据量等于预设阈值时，向所述目标数据库批量发送所述数据。

可选地，向所述目标数据库批量发送所述数据之前，所述方法包括：

将所述数据存储于临时容器中。

可选地，所述临时容器的数据容量等于所述预设阈值。

可选地，所述方法还包括：

监听所述临时容器中的数据量是否到达所述预设阈值。

可选地，若所述数据量未达到所述预设阈值且获取的数据为空，则向所述目标数据库发送所述数据。

可选地，若所述数据量未达到所述预设阈值且接收到所述源数据库的第一消息，则向所述目标数据库发送所述数据，其中，所述第一消息用于指示所述源数据库数据发送结束。

可选地，向所述目标数据库发送所述数据之后，所述方法还包括：

删除所述临时容器中存储的所述数据。

可选地，所述临时容器包括列表List。

可选地，所述临时容器包括集合Set。

可选地，所述向所述目标数据库发送所述数据，包括：

通过Mybatis框架将所述数据插入所述目标数据库。