[发明专利]一种多数据源数据同步监控方法及系统

权利要求书

1.一种多数据源数据同步监控方法，其特征在于，所述方法包括以下步骤：

S110，根据渠道分配生成对应同步任务；

S120根据任务设置的数据来源，确定与之对应的处理器；

S130，将任务交给数据处理器进行切片；在切片成功的情况下，进入步骤S140，在切片失败的情况下，进入步骤S160；

S140，数据读取、数据组装、数据异步批量写入和并发控制；在数据异步写入成功的情况下，进入步骤S150；在数据异步写入失败的情况下，进入步骤S160；

S150，检查各个切片同步数据，是否同步完成，当所有切片完成则同步任务完成，若是其中一个切片失败则整个任务失败，任务失败通知运维人员，任务恢复后通知相关人员；

S160，同步任务失败触发，恢复告知；

S170，同步监控平台日志，展示所有同步任务，查切片能具体看到每个切片情况，重试某个同步任务、某个切片、以及重置切片id段后重新同步；

步骤S130中，处理器按切片策略进行切片，切片包括两种策略方式，一种是等分切片，将数据按配置对切片数据进行切片，数据总量m条，每切片n条，m/n=k切片，若m%n!=0，证明不能整除，切片数m/n加一存放剩余的数量；另一种是固定切片，按配置切片数量进行均摊，数据总量m条，分n个切片，故每个切片k条，若m%n!=0，证明不能整除，再处理最后一个切片时需要同步剩余的所有数据；切片与数据的联系方式如下：在同步数据有唯一标识字段时，给每个切片分配一段id段进行标识并记录对应数据源的数据片段，标识这个切片的id段并映射对应的源数据，当重试、清理数据时可根据这个id段进行批量清除和重新同步，定位切片已同步数据段SQL，将重试降低到m/n数据上，其中，m是重试切片数，n是总体切片数；

任务切片到插入目标源完成数据同步的过程包含如下子步骤：

S210，判断是否走默认切片规则；

S211，不是默认规则根据配置选择切片规则；

S212，根据切片策略进行切片；

S213，获取并发锁，控制数据插入目标的速率；

S214，并发线程数据插入目标库中，提高同步速度。

2.根据权利要求1所述的多数据源数据同步监控方法，其特征在于，所述方法还包括步骤S180，检查步骤S120中的未完成任务是否超时，超时进行快速失败处理，并提示任务异常中断需要人为介入。

3.根据权利要求2所述的多数据源数据同步监控方法，其特征在于，步骤S140中，首先根据读取方式获取数据；然后根据处理器数据组装策略组装数据集合，最后数据集进行批量写入目标源；读取方式包括读取表的y行到x行使用JDBC的流式读取；控制并发执行线程，使用CountDownLatch计数器作为临时计数器，在结合线程池阻塞队列，在到达并发限制时进行阻塞等待。