[发明专利]数据库副本数据主备一致性校验方法、装置、设备及介质

说明书

本申请公开了数据库副本数据主备一致性校验方法、装置、设备及介质，所述方法包括：拆分索引选择：拆分索引需选择重复度低的索引字段，以方便对行数据进行区间划分；确认拆分块大小：使用拆分索引把表拆分成合适的大小，使得拆分的区间数最接近预设值；比较数据块一致性：通过计算每个数据块的crc32之和来判断数据块一致性；深入比较数据块内部行数据一致性：对于数据块数据不一致性的，需要记录数据块拆分索引范围，根据数据块的大小，对数据块进行进一步拆分，计算子数据块的crc32。本申请能够高效、准确地计算出主备数据一致性，无需锁表、行数据，不影响业务正常操作。

技术领域

本发明涉及分布式关系型数据库技术领域，尤其涉及一种数据库副本数据主备一致性校验方法、装置、设备及介质。

背景技术

一般的关系型数据库为了提高数据的安全性和可靠性，都会搭建一个或者多个备机来实时同步数据，同时存在多个副本，保证数据安全性，即使主数据库挂了，可以自动切换到备库。为了在主备切换时保证主备数据一致，需要有检测主备数据一致性的方法，因此能否在TB数据量下快速、准确的检测出主备数据一致性，至关重要。

当前主备数据一致性很多在检测一致性时是需要锁行数据的。每个子数据块校验时，先对块内行数据加锁，禁止DML锁操作，获得锁后，记录主库执行位置，操作从库复制线程执行到主库记录的位置后暂停SQL线程，等到主从同步后再比较数据块的一致性，避免因为复制延迟导致误检测，但是这种检测方式大大加大了业务死锁、锁超时风险，主从延迟升高，主从读写分离可能失效。

发明内容

本发明的目的在于提供一种数据库副本数据主备一致性校验方法、装置、设备及介质，以解决上述技术背景中提出的问题。

为实现上述目的，本发明采用以下技术方案：

第一个方面，本发明提供了一种数据库副本数据主备一致性校验方法，包括如下步骤：

按照预设的拆分规则对数据表进行索引去重，得到拆分索引；

根据拆分索引的行数、以及预设的目标区间数，确定拆分块的大小，使得拆分块的数量最接近目标区间数，使用拆分索引按照拆分块的大小将数据表进行区间拆分，生成至少一个拆分块，每个拆分块对应一个数据块；

对数据块的每行数据，拼接其所有列值形成一个行字符串，计算行字符串的crc32，累加数据块内的所有行字符串的crc32，得到整个数据块的crc32，代表数据块唯一性的拆分索引值，通过判断主备上对应数据块的crc32值来判断主备数据一致性；

对于主备数据不一致的数据块，记录该数据块对应的拆分索引的范围，根据该数据块的大小，对该数据块进行进一步拆分，拆分为至少一个子数据块，计算子数据块的crc32，通过判断主备上对应子数据块的crc32值来判断主备数据一致性。

作为优选，所述拆分规则包括：优先选择主键、唯一键，其次选择索引统计信息中重复度低的索引字段，对于重复度相同的情况，则优先选择数值型索引。

上述内容中，每个拆分块相当于主键或者唯一键的区间(最小值-最大值)，例如，数据表的表行数为100w，拆分块的数量等于预设的目标区间数10w，则每个拆分块的大小为10。

作为优选，所述根据拆分索引的行数、以及预设的目标区间数，确定拆分块的大小，包括如下步骤：

若拆分字段为数值类型，拆分的区间数M1＝去重后的数据表的行数/10^N，N为大于等于1的整数，比较N为不同值时计算的区间数M1的数值大小，取区间数M1最接近预设的目标区间数时的N，此时计算出的区间数M1即为拆分块的数量，进而确定拆分块的大小；