[发明专利]数据库数据比对方法和比对系统

说明书

本发明实施例提供一种数据库数据比对方法和比对系统，该数据库数据比对方法包括：调用查询服务对数据库的指定数据进行第一次查询，并生成第一次查询结果；将所述第一次查询结果进行缓存；调用同一查询服务对所述指定数据进行第二次查询，并生成第二次查询结果；以及将所述第一次查询结果与所述第二次查询结果进行比对，分析出差异数据。该方法通过查询服务多次查询数据库的指定数据，将多次的查询结果缓存并进行比对，从而降低比对的工作量，简化对比步骤，并且提供差异数据分析，直观的展示数据表的变化。

技术领域

本发明涉及计算机技术领域，具体涉及一种数据库数据比对方法和比对系统。

背景技术

目前，在开发调试或测试过程中，常需要对数据库的数据进行前后比对，以检查在代码/程序运行过程中数据发生了什么变化。这就需要分字段比对，目前有两种常用的比对数据库的方式。一是用户记录下操作前后的数据表各字段数值，然后人工进行逐字逐句的比对，即可查询出本次操作对数据产生的影响，这种比对常见于修改字段较少或者要查询的表较少的情况，倘若数据字段过多则不适宜人工比对；另一种是读取canal日志消息，系统在对配置了canal消息得到数据库进行操作时，可以通过查看canal日志来确定数据库操作前后的更新变化情况，这种方式能看出数据库的变化，但相对不直观，还需要用户自行进行人工比对和筛选。而关于比对技术，常用的有3类，一种是利用数据库本身的差异化工具或者直接利用SQL语句进行比对，比如mysqldiff工具，outer join技术等；一种是将数据库的数据进行抽取，形成集合或者海量数据，提取关键字，简化海量数据的比对过程，适于频繁访问数据库的情况，比如专利CN 103176989A，专利CN107291908A等；还有一种是制定某种规则，来规范化数据的比较。对于已存在的比对技术，目标比对是较为复杂的数据库或者大量数据表时，除将数据提取出来做成集合后比对之外，其余技术本质上仍然是对数据表操作的比对，仍然需要人为参与且不直观，并且对于做成集合比对或者制定规则来说，又相比对较复杂，对于常用的简单数据库比对，耗费的效率可能会更高。

因此，发明人认为，上述的数据比对方法有很大的局限性，一定程度上是可以解决查询数据库字段前后变化的问题，但不管是技术或者工具，人为参与所占的比重非常大，在数据量少且比对的字段不多的情况下，采用上述几种方式均不会有太大的负担，但如果数据量庞大或者字段众多，或者工作中频繁需要比对数据库，手工比对或者查询canal日志，都会是一个非常大的工作量，并且有可能遗漏，比对结果可能不够直观；对于单条数据的对比，已有的海量数据的对比并不是最高效的处理方式。

发明内容

有鉴于此，本发明实施例提供一种数据库数据比对方法和比对系统，将数据的比对过程自动化，并且提供一个差异报告，从而降低比对的工作量，并且直观的展示数据表的变化。

根据本发明第一方面，提供一种数据库数据比对方法，包括：调用查询服务对数据库的指定数据进行第一次查询，并生成第一次查询结果；将所述第一次查询结果进行缓存；调用同一查询服务对所述指定数据进行第二次查询，并生成第二次查询结果；以及将所述第一次查询结果与所述第二次查询结果进行比对，分析出差异数据。

优选地，所述数据库数据比对方法还包括：将所述差异数据写入差异报告，并将所述差异报告反馈给用户端。

优选地，所述差异报告包括所述第一次查询结果和所述第二次查询结果的差异位置的展示和所述差异位置处的精准字段的比对数据。

优选地，调用查询服务对数据库的指定数据进行第一次查询，并生成第一次查询结果包括：提供至少一个查询服务，每个所述查询服务对应一个查询语句；调用一个所述查询语句，对由所述查询语句指定的数据库的指定数据进行第一次查询；以及提取所述指定数据的详细字段信息生成第一次查询结果。

优选地，所述查询语句用于选择所述数据库中需要进行比对的数据，并将其作为指定数据，不同的所述查询语句对应不同的所述指定数据。