[发明专利]数据库之间数据校验方法及装置在审
申请号: | 201811406980.X | 申请日: | 2018-11-23 |
公开(公告)号: | CN109739831A | 公开(公告)日: | 2019-05-10 |
发明(设计)人: | 余星 | 申请(专利权)人: | 网联清算有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/27 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 张润 |
地址: | 100032 北京市西城*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据库 第一数据 数据校验 校验 配置库 预设 生产数据库 一致性校验 独立保存 配置信息 数据复制 校验结果 业务需求 业务库 获知 主备 并发 耗时 写入 复制 验证 灵活 生产 | ||
本发明提出一种数据库之间数据校验方法及装置,其中方法包括:从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表,计算第一数据表的第一数据总和,并计算第二数据表的第二数据总和,若获知第一数据总和与第二数据总和一致,则生成第一数据库和第二数据库一致性校验报表。该过程不依赖主备或者是备备数据之间的复制,预设配置库的配置信息及校验结果可以独立保存,不写入生产数据库。且可以针对不同业务库之间的数据复制进行校验,更为灵活。以及可以采用并发的方式极大降低了整个校验过程的耗时,经过线下及生产验证可以很好的满足业务需求。
技术领域
本发明涉及数据库技术领域,尤其涉及一种数据库之间数据校验方法及装置。
背景技术
目前,平台OLTP(On-Line Transaction Processing,联机事务处理过程)业务数据存储主要使用MySQL数据库,都采用了主备复制的方案来扩展架构、冗余数据(比如1主1备或1主多备),同时核心金融业务系统要求平台做到数据库高可用、数据强一致。
然而,主备复制是基于日志的逻辑复制,MySQL使用逻辑复制回放事务日志来同步主库的变化,从而很容易导致主备节点的数据不一致。因此主备节点数据一致性无法保证,在某些场景下备库本身需要承担了部分查询业务,主库发生故障切换时备库也会提升为主库的角色对外提供服务,如果出现主、备库数据不一致,数据库可用性就会被迫放弃从而影响业务的稳定运行。
相关技术中,通过在主数据库和备用数据库执行循环冗余校验的方式来确定主备数据库中的数据的一致性,配置信息和校验结果都写入生产数据库中,不够灵活且安全性比较低。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种数据库之间数据校验方法,用于解决现有技术中进行数据库之间数据校验时,人工操作难以及时、有效地对应用服务进行控制的问题。
本发明的第二个目的在于提出一种数据库之间数据校验装置。
本发明的第三个目的在于提出另一种数据库之间数据校验装置。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为达上述目的,本发明第一方面实施例提出了一种数据库之间数据校验方法,包括:
从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表;
计算所述第一数据表的第一数据总和,并计算所述第二数据表的第二数据总和;
若获知所述第一数据总和与所述第二数据总和一致,则生成所述第一数据库和所述第二数据库一致性校验报表。
进一步的,在所述从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表,之前还包括:
获取所述第一数据库的第一数据源,以及所述第二数据库的第二数据源;
将所述第一数据源和所述第二数据源存入所述预设配置库中;
将所述预设配置库配置到目标运维平台。
进一步的,在所述从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表,之前还包括:
获取所述第一数据库的第一数据量和第一负载;
获取所述第二数据库的第二数据量和第二负载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网联清算有限公司,未经网联清算有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811406980.X/2.html,转载请声明来源钻瓜专利网。