[发明专利]一种多数据源数据同步监控方法及系统

说明书

本发明公开了一种多数据源数据同步监控方法和系统，包括以下步骤：S110，根据渠道分配生成对应同步任务；S120根据任务设置的数据来源，确定与之对应的处理器；S130，将任务交给数据处理器进行切片；S140，数据读取、数据组装、数据异步批量写入和并发控制；S150，检查各个切片同步数据，是否同步完成，当所有切片完成则同步任务完成，若是其中一个切片失败则整个任务失败，任务失败通知运维人员，任务恢复后通知相关人员；S160，同步任务失败触发，恢复告知；S170，同步监控平台日志，展示所有同步任务，查切片能具体看到每个切片情况，重试某个同步任务、某个切片、重置切片id段后重新同步。

技术领域

本发明涉及计算机网络及数据处理技术领域，尤其是涉及一种多数据源数据同步监控方法及系统。

背景技术

随着现代信息技术的不断发展，数据的产生速度变得越来越快，大量的数据被搜集和存储。这些海量的数据必须通过系统的处理和分析，才能挖掘出其中蕴含的潜在价值。而这过程数据同步起着关键作用，需整合多个数据源再汇总数据进行存放，由于同步数据这个工程属于一个过程，所以还需要记录同步任务、同步结果以及告警。在多数据源及多变的整合数据逻辑情况下让数据可以更加灵活、清晰、便捷有效的传输与汇总，让数据的同步更加直观、易于检查，提高了数据同步的效率。

当今世界已跨入了互联网+大数据时代，大数据正深刻改变着人们的思维、生产和生活方式。而数据同步已成为大数据时代不可或缺的重要手段和工具，与各个行业深度融合，在已知数据源，将数据同步到预期的目标源中，多数据源数据同步监控发挥着巨大的作用。多数据源数据同步监控已经成了科学的数据同步标配，涉及多数据源、数据转换逻辑、可视化、告警等多个专业领域。同时，大数据本身的新特点也对多数据源数据同步监控提出了更为迫切的需求与更加严峻的挑战。

目前多数据源数据同步监控的开发主要有两种方式：一是每种数据源接入投入大量人力进行定制开发，以获得更加针对性的数据源和数据转换逻辑，每次都需要重复开发，没有将共性抽象出来，无法复用；二是使用DataX软件，通过字段映射、数据源配置及简单SQL数据转换处理，以完成数据的同步。其中，任务的监控、重试力度较大，例如一个任务为整体，切分为数据量较小的数据单元进行同步，没有提供针对较小的数据单元监控及重试，一旦失败只能重试执行整个任务，重试成本较高；通过DataX软件的模板和数据源配置以映射同步的方式，会存在字段映射不足以支撑需求、缺乏根据业务场景按需同步，灵活度低，无法满足设计要求等问题。

发明内容

针对现有技术存在的问题，本发明的目的在于提供一种多数据源数据同步监控方案，首先根据需要集成多种数据源，提高接入能力及适应性，然后提供一个同步组件，接收任务，细分任务，处理任务，按策略划分任务，再将任务细分按需切分为若干切片进行同步，最后汇总各切片同步情况得出整体任务结果。如若，失败进行告警再启动告警。本发明主要解决在多种业务场景下产生不同同步任务需要按需同步，提高容错性，细化同步任务，降低重试成本，失败告警提高运维能力，降低故障时间。

为实现上述目的，本发明提供一种多数据源数据同步监控方法，所述方法包括以下步骤：

S110，根据渠道分配生成对应同步任务；

S120根据任务设置的数据来源，确定与之对应的处理器；

S130，将任务交给数据处理器进行切片；在切片成功的情况下，进入步骤S140，在切片失败的情况下，进入步骤S160；

S140，数据读取、数据组装、数据异步批量写入和并发控制；在数据异步写入成功的情况下，进入步骤S150；在数据异步写入失败的情况下，进入步骤S160；

S150，检查各个切片同步数据，是否同步完成，当所有切片完成则同步任务完成，若是其中一个切片失败则整个任务失败，任务失败通知运维人员，任务恢复后通知相关人员；

S160，同步任务失败触发，恢复告知；