[发明专利]一种基于mogodb的数据库数据聚合同步的方法

说明书

本发明提供了一种基于mogodb的数据库数据聚合同步的方法，同步程序扫描目标数据库表的数据，将其存储到mogodb中，在目标数据库数据发生变化时，同步程序重新计算目标数据库中每行数据的新ID，并查询Mogodb中是否存在与新ID相同的ID，从而对聚合数据库中的数据进行更新，然后，对目标数据库数据同步完成的表ID集合与聚合数据库相应的表ID集合进行差集计算，通过判断差集中是否有元素来对聚合数据库中数据进行删除，本发明通过Mogodb来实现聚合同步过程中的增、改、删，从而将多个目标数据库数据聚合同步到一个聚合数据库中。

技术领域

本发明涉及互联网技术领域，尤其涉及一种基于mogodb的数据库数据聚合同步的方法。

背景技术

随着企业的不断发展，企业信息化的不断深入，企业内部存在着各种各样的软、硬件平台，形成了分布式异构数据源。当企业各应用系统间需要进行数据交流时，其效率及准确性、及时性必然受到影响。为了便于信息资源的统一管理及综合利用，保障各业务部门的业务需求及协调工作，常常涉及到相关数据库数据实时同步处理。基于数据库的各类应用系统层出不穷，可能涉及到包括Oracle，MySQL，Redis，SqlServer等数据库，这些数据库虽然都有各自的数据主从同步方式，但存在不足的地方是不能进行多个异构数据库同步到一个数据库的聚合同步而且在同步的过程中如果处理大量数据可能出现同步不及时等问题。

发明内容

本发明是为了克服现有技术的不足，提供了一种基于mogodb的数据库数据聚合同步的方法。

为解决上述技术问题，本发明通过下述技术方案来解决：

一种基于mogodb的数据库数据聚合同步的方法，用于将至少一个目标数据库数据聚合同步到一个聚合数据库中，包括以下步骤：

步骤1，使用同步程序从配置文件中加载各所述目标数据库的连接信息，读取所述目标数据库中的表结构，并在所述聚合数据库中创建相对应的表；

步骤2，所述同步程序扫描所有所述目标数据库表数据的ID；

步骤3，将步骤2中得到的数据写入mogodb中，将所有所述目标数据库表的每行数据拼装出插入语句执行写入到所述聚合数据库中对应的表中；

步骤4，当所述目标数据库中表的数据发生变化时，执行步骤2，重新得到数据，对于每行数据，判断mogodb中是否存在与该行数据的新ID相同的ID，如果不存在，则该行数据执行步骤3，如果存在，则判断该行数据的新数据与 mogodb中存储的相对应的数据是否相同，如果不同，则将该行数据的新数据覆盖掉mogodb中相对应的数据，同时将该行数据拼装出更新语句对所述聚合数据库中对应表中的数据进行更新；

步骤5，将发生变化后的所有的目标数据库数据的表ID集合与步骤4得到的聚合数据库相应的表ID集合进行差集计算得到差集，如果所述差集中存在元素，则在所述聚合数据库中对应的表拼装出删除语句删除所述聚合数据库中与所述目标数据库中已删除数据相应的数据；

步骤6，使用数据校验程序周期性对完成所述步骤1至所述步骤5的所述目标数据库和所述聚合数据库的数据进行对应性校验；

所述基于mogodb的数据库数据聚合同步的方法还包括使用日志记录程序对所述目标数据库和所述聚合数据库在同步过程中产生的异常进行记录。

步骤6中，所述数据校验程序依次通过“数据校验定时程序”、“随机抽样程序”、“数据校验对比程序”、“数据校验处理程序”4个程序对完成所述步骤1至所述步骤5的所述目标数据库和所述聚合数据库的数据进行对应性校验，所述周期为12h。

步骤6中，所述“随机抽样程序”、“数据校验对比程序”、“数据校验处理程序”采用XML文档的形式对所述目标数据库和所述聚合数据库的数据进行处理。

本发明相比现有技术具有以下优点及有益效果：