[发明专利]一种数据库分库分表策略的确定方法及装置

说明书

本发明提供了一种数据库分库分表策略的确定方法及装置，利用目标数据库中数据库表的历史数据量，结合数据预测模型，对目标数据库中的总数据量进行预测，得到总数据量变化趋势；根据总数据量变化趋势，确定总数据量达到阈值的峰值时间点；周期性将数据库表中的历史数据进行分段划分，得到不同划分时期对应的多组历史数据；针对每个划分时期，对划分时期对应的每组历史数据进行校验，得到对应的校验结果；根据所有划分时期对应的校验结果，判断数据库表中的历史数据是否发生变化，并依据判断结果确定分库分表方式；根据峰值时间点和分库分表方式，确定目标数据库的分库分表策略，提高分库分表策略的设计合理性，进而保证应用系统的稳定运行。

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据库分库分表策略的确定方法及装置。

背景技术

在计算机软件技术的应用和发展过程中，数据库的使用占据了重要的一环。而伴随着应用系统的长期运行和信息爆炸的到来，数据库越来越臃肿且影响到数据库的性能，因此需要对数据库进行分库分表来保证应用系统的稳定运行。

目前对数据库进行分库分表的方式为：在应用系统的开发设计阶段，预估未来的数据量情况，并按照预估结果设计数据库的分库分表策略，提前完成数据库的分库分表工作。但是，由于许多业务场景不能预估未来的数据量情况，会导致数据量的预估结果与实际情况的偏差较大，进而导致分库分表策略的设计不合理，无法保证应用系统的稳定运行，分库分表策略的设计合理性较差。

发明内容

有鉴于此，本发明实施例提供一种数据库分库分表策略的确定方法及装置，以解决目前数据库的分库分表方式存在的设计合理性较差等问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面公开一种数据库分库分表策略的确定方法，所述方法包括：

利用预先采集的目标数据库中数据库表的历史数据量，结合预先构建的数据预测模型，对所述目标数据库中的总数据量进行预测，得到所述目标数据库在未来时间段内的总数据量变化趋势；

根据所述总数据量变化趋势，确定所述目标数据库的总数据量达到阈值的峰值时间点；

周期性将所述数据库表中的历史数据进行分段划分，得到不同划分时期对应的多组历史数据，每个所述划分时期对应多组历史数据；

针对每个划分时期，对所述划分时期对应的每组历史数据进行校验，得到对应的校验结果；

根据所有所述划分时期对应的所述校验结果，判断所述数据库表中的历史数据是否发生变化，并依据判断结果确定所述目标数据库的分库分表方式；

根据所述峰值时间点和所述分库分表方式，确定所述目标数据库的分库分表策略。

优选的，所述根据所有所述划分时期对应的所述校验结果，判断所述数据库表中的历史数据是否发生变化，并依据判断结果确定所述目标数据库的分库分表方式，包括：

在任意相邻的两个所述划分时期中，若任意一对组号相同的历史数据对应的所述校验结果之间的差值大于等于预设值，确定所述数据库表中的历史数据发生变化，并确定所述目标数据库的分库分表方式为第一分库分表方式，所述第一分库分表方式基于所述数据库表的唯一键的hash值进行分库分表；

若每一对相邻的两个所述划分时期中，组号相同的历史数据对应的所述校验结果之间的差值均小于所述预设值，确定所述数据库表中的历史数据未发生变化，并确定所述目标数据库的分库分表方式为第二分库分表方式，所述第二分库分表方式基于所述数据库表的唯一键的范围进行分库分表。

优选的，所述针对每个划分时期，对所述划分时期对应的每组历史数据进行校验，得到对应的校验结果，包括：

针对每个划分时期，对所述划分时期对应的每组历史数据进行循环冗余校验CRC校验，得到对应的CRC校验结果。