[发明专利]一种数据库表快速精确校验方法

说明书

本发明公开了一种数据库表快速精确校验方法，包括以下步骤：步骤1.数据源选择；步骤2.数据校验；步骤3.结果展示；其中步骤1包括选定两个需要进行比较数据源，其中一个是原始数据，另一个是备份数据，选择校验的范围。本发明通过分片校验的方法，能够应对海量数据的一致性校验，同时在分片校验过程中通过哈希运算节约了计算资源，校验速度快，且能够提供精确到行列的校验结果。

技术领域

本发明涉及数据库安全领域，尤其涉及一种数据库表快速精确校验的方法。

背景技术

我们已经进入了数字时代，在数字时代里，数据的重要性不言而喻。大量的业务需求产生了大量的数据，如何有效的保护这些重要数据一直是一个重要的课题。现阶段一种非常有效的做法就是针对数据进行容灾备份，确保数据存在多个副本，在原始数据产生灾难性故障的时候，通过备份数据可以快速的恢复业务，另外备份数据还能作为其他关联业务的数据源，为其他业务提供服务。但是，对数据进行容灾备份的时候，必须保证原始数据和备份数据的一致性，但是由于数据规模的不断增大，数据一致性校验难度也在不断增加。

传统的一致性校验有多种做法，一种是有针对性的局部校验，比如校验记录行数，或者通过将数据导出到文本中，然后通过文本的方式进行对比分析。另外一种则是使用SQL的客户端工具的比对功能。局部校验的方式是比较粗糙的一种校验形式，只能针对部分的应用场景。通过一些工具作比对，能做到比较细致的比对，但是随着单表数据量的增大,校验效率也会越来越低，同时也存在因为资源消耗过大而导致无法校验的情况。

为此，本发明提供了一种数据库表快速精确校验的方法，主要针对复杂数据结构的数据库进行一致性校验，并解决了单表数据量太大导致单表无法做精确数据校验的问题，实现了高效的数据校验。

发明内容

为实现本发明之目的，采用以下技术方案予以实现：

一种数据库表快速精确校验方法，包括以下步骤：步骤1.数据源选择；步骤2.数据校验；步骤3.结果展示；其中步骤1包括选定两个需要进行比较的数据源，其中一个是原始数据，另一个是备份数据，选择校验的范围。

所述的数据库表快速精确校验方法，其中步骤2包括：(1)数据结构校验：检查原始数据和备份数据的数据结构，如果原始数据和备份数据的数据结构不一致则不进行校验；如果原始数据和备份数据的数据结构一致，则进行后续的校验。

所述的数据库表快速精确校验方法，其中步骤2还包括：(2)唯一键校验：检查原始数据和备份数据是否都具备行唯一键，如果是，则执行(3)数据分片。

所述的数据库表快速精确校验方法，其中步骤2中(3)数据分片包括：查询原始数据和备份数据的数据表的真实行数，设定分片数，查询原始数据和备份数据的行唯一键，对行唯一键做HASH运算，然后将运算结果取分片数的模，将取模后的值相同的行归为同一个分片，该取模后的值作为该分片的序号。

所述的数据库表快速精确校验方法，其中步骤2还包括：(4)一致性校验：对于原始数据和备份数据的每个分片，分别对每一行中的各列进行HASH计算并进行求和，得到该行的行值，比较原始数据和备份数据中的相同分片序号中的相同的行唯一键所对应的行值，如果相同，则认为原始数据和备份数据的该行数据一致，在行记录表中记录该行数据一致，如果不相同，在行记录表中记录该行数据不一致，合并所有的分片的校验结果，即将所有分片的行记录表合并为一个校对记录表。

所述的数据库表快速精确校验方法，其中：对于行数据不一致的情况，还要再进行详细比对，即将原始数据和备份数据的该行数据中的每列的数据进行比对，并在行记录表中记录每列的比对结果，即某列数据一致或某列数据不一致。

所述的数据库表快速精确校验方法，其中步骤3包括：列出所有的比对对象以及相应的比对结果，每个对象的比对结果包括行数据一致信息和行数据不一致信息。

附图说明