[发明专利]数据库副本数据主备一致性校验方法、装置、设备及介质

权利要求书

1.数据库副本数据主备一致性校验方法，其特征在于，包括如下步骤：

按照预设的拆分规则对数据表进行索引去重，得到拆分索引；

根据拆分索引的行数、以及预设的目标区间数，确定拆分块的大小，使得拆分块的数量最接近目标区间数，使用拆分索引按照拆分块的大小将数据表进行区间拆分，生成至少一个拆分块，每个拆分块对应一个数据块；

对数据块的每行数据，拼接其所有列值形成一个行字符串，计算行字符串的crc32，累加数据块内的所有行字符串的crc32，得到整个数据块的crc32，代表数据块唯一性的拆分索引值，通过判断主备上对应数据块的crc32值来判断主备数据一致性；

对于主备数据不一致的数据块，记录该数据块对应的拆分索引的范围，根据该数据块的大小，对该数据块进行进一步拆分，拆分为至少一个子数据块，计算子数据块的crc32，通过判断主备上对应子数据块的crc32值来判断主备数据一致性。

2.根据权利要求1所述的数据库副本数据主备一致性校验方法，其特征在于，所述拆分规则包括：优先选择主键、唯一键，其次选择索引统计信息中重复度低的索引字段，对于重复度相同的情况，则优先选择数值型索引。

3.根据权利要求1所述的数据库副本数据主备一致性校验方法，其特征在于，所述根据拆分索引的行数、以及预设的目标区间数，确定拆分块的大小，包括如下步骤：

若拆分字段为数值类型，拆分的区间数M1＝去重后的数据表的行数/10^N，N为大于等于1的整数，比较N为不同值时计算的区间数M1的数值大小，取区间数M1最接近预设的目标区间数时的N，此时计算出的区间数M1即为拆分块的数量，进而确定拆分块的大小；

若拆分字段为字符串类型，拆分的区间数M2＝去重后的left(column，N)的数量，N为大于等于0的整数，其中，left(column，N)表示截取字符串拆分字段的左边N个字符，比较N为不同值时计算的区间数M2的数值大小，取区间数M2最接近预设的目标区间数时的N，此时计算出的区间数M2即为拆分块的数量，进而确定拆分块的大小。

4.根据权利要求1所述的数据库副本数据主备一致性校验方法，其特征在于，所述计算每个数据块的crc32之和，是通过关系型数据库分组语法Group by，一组对应一个数据块，直接在数据库层面计算每个数据块的crc32值。

5.根据权利要求1所述的数据库副本数据主备一致性校验方法，其特征在于，如果主备上对应子数据块的数据存在不一致，则对不一致的子数据块进行标记。

6.根据权利要求1所述的数据库副本数据主备一致性校验方法，其特征在于，所述预设的目标区间数为100000。

7.数据库副本数据主备一致性校验系统，其特征在于，包括：

拆分索引选择模块，用于按照预设的拆分规则对数据表进行索引去重，得到拆分索引；

拆分块大小确认模块，用于根据拆分索引的行数、以及预设的目标区间数，确定拆分块的大小，使得拆分块的数量最接近目标区间数，使用拆分索引按照拆分块的大小将数据表进行区间拆分，生成至少一个拆分块，每个拆分块对应一个数据块；

数据块一致性比较模块，用于通过计算每个数据块的crc32之和来判断数据块一致性，即对数据块的每行数据，拼接其所有列值形成一个行字符串，计算行字符串的crc32，累加数据块内的所有行字符串的crc32，得到整个数据块的crc32，代表数据块唯一性的拆分索引值，通过判断主备上对应数据块的crc32值来判断主备数据一致性；

数据块内部行数据一致性深入比较模块，用于对于主备数据不一致的数据块，记录该数据块拆分索引的范围，根据该数据块的大小，对该数据块进行进一步拆分，拆分为至少一个子数据块，计算子数据块的crc32，通过判断主备上对应子数据块的crc32值来判断主备数据一致性。