[发明专利]一种多类型数据库数据对比与同步的方法及系统

说明书

本发明公开了一种多类型数据库数据对比与同步的方法及系统，属于数据处理技术领域，所述方法利用可配置的参数实现多类型数据库之间的数据对比与同步，该方法的实现包括：1)、解析参数配置，通过读取参数配置，获取需要读取和写入的数据库信息；2)、遍历需要对比或者同步的数据并根据配置信息进行校验或格式转换：3)、将需要同步的数据写入目标数据库，同步工具连接需要写入的数据库，将步骤2)中处理好的数据写入数据库。本发明能够以高效便捷的方式实现多类型数据库数据比对与同步，免去重复编写比对与同步程序的麻烦，实现多类型数据库之间的数据对比与同步。

技术领域

本发明涉及数据处理技术领域，具体地说是一种多类型数据库数据对比与同步的方法及系统。

背景技术

数据库是能够保管数据的“仓库”，被广泛的应用在各种应用上，随着业务的发展，单个数据库可能不再满足需求，所以会在应用中使用多类型数据库配合工作。

随着业务的不断发展，早年间建立的数据库系统，因版本老旧、数据量超过设计时的指标、缺少特定功能等原因，需要引入新种类的数据库来配合工作，甚至逐步替换旧数据库。以往跨数据库进行数据对比与同步，需要单独编写程序，当数据库类型增多，数据库之间的对比与同步程序会变的过于复杂。如何快速高效的整合多类型数据库的数据对比与同步，是目前需要解决的问题。

发明内容

本发明的技术任务是针对以上不足之处，提供一种多类型数据库数据对比与同步的方法及系统，能够以高效便捷的方式实现多类型数据库数据比对与同步，免去重复编写比对与同步程序的麻烦，实现多类型数据库之间的数据对比与同步。

本发明解决其技术问题所采用的技术方案是：

一种多类型数据库数据对比与同步的方法，利用可配置的参数实现多类型数据库之间的数据对比与同步，该方法的实现包括：

1)、解析参数配置，通过读取参数配置，获取需要读取和写入的数据库信息；

2)、遍历需要对比或者同步的数据并根据配置信息进行校验或格式转换：

同步工具连接数据库，拼接查询语句遍历数据库读取数据；

根据对比规则，对数据进行校验，将符合规则的数据暂存；

将通过对比规则的数据进行格式转换；

3)、将需要同步的数据写入目标数据库，

同步工具连接需要写入的数据库，将步骤2)中处理好的数据写入数据库。

本方法通过配置参数，可以灵活的应对多类型数据库的数据对比与同步，通过解析特定参数配置，生成满足需求对比与同步程序，免去重复编写的步骤。

优选的，所述数据库信息包括数据库类型、数据库链接地址、数据库名、表名、表结构映射、查询条件、对比规则。

优选的，所述遍历需要对比或者同步的数据，

在业务数据和数据库支持的条件下，通过额外配置特定规则，对数据库进行并发分片查询，提高遍历效率。

优选的，所述将符合规则的数据暂存，暂存的方式包括缓存、写入文件、写入数据库方式。

优选的，根据表结构映射信息，将通过对比规则的数据进行格式转换。

本发明还要求保护一种多类型数据库数据对比与同步的系统，包括解析参数配置模块、校验及格式转换模块以及数据写入模块，

所述解析参数配置模块通过读取参数配置，获取需要读取和写入的数据库信息；

所述校验及格式转换模块，遍历需要对比或者同步的数据，并根据配置信息进行校验或格式转换；

所述数据写入模块将需要同步的数据写入目标数据库。