[发明专利]一种分布式数据库数据在线迁移方法

说明书

本发明公开了一种分布式数据库数据在线迁移方法，其特征在于，包括部署分布式数据库集群下物理库的挖掘环境，将增量数据写入topic中；读取topic中增量数据，通过特殊账号写入到分布式数据库，当kafka成功记录了当前消费位置信息后停止增量同步；全量读取，通过特殊账号再次写入到分布式数据库，同步结束后，再次读取增量数据，通过特殊账号写入到分布式数据库；通知分布式数据库进行配置切换，删除旧分片的冗余数据。达到在业务系统无感知的情况下实现全量数据以及增量数据的迁移，解决迁移性能问题，保证数据不丢失，透明化的完成数据迁移和配置切换，扩容完成后可以精准的删除迁移过程中产生的冗余数据的效果。

技术领域

本发明涉及分布式数据库领域，特别是涉及一种分布式数据库数据在线迁移方法。

背景技术

随着计算机和信息技术的快速发展，行业应用规模不断扩大，行业应用所产生的数据量呈爆炸式增长，传统数据库面对大规模的数据处理逐渐表现出其局限性，仅仅是通过增大传统数据库的存储空间，也只是补救一时，无法满足未来的发展。因此，在海量数据的情况下，人们希望能寻找一种能够快速处理数据和及时响应用户的方法，分布式数据库应运而生。

分布式数据库将数据存储在各物理库上，随着时间的推移，各分片上数据量及访问量越来越大，服务器容量和性能达到了一定的瓶颈，这时候就需要对数据库进行扩容。

目前市场上主流的分布式数据库基本上都是面向离线扩容的，很难做到在线扩容。在线扩容不仅仅需要考虑全量数据迁移同时还需要考虑增量数据迁移，最终保证数据库服务不停止、业务系统无感知、迁移结果正确性。专利“一种数据的同步方法及装置、存储介质及电子装置”(申请号：202010281618.5)提到查询预定主题topic的最新更新记录写入到目标topic，再将目标topic中的记录同步到目标表中，需要额外实现从源topic到目标topic的同步，且全量同步需要将所有数据全部写入到topic中，如果数据量很庞大很难做到高效扩容。

因此需要提供一种分布式数据库数据在线迁移办法来解决上述问题。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种分布式数据库数据在线迁移方法。

为解决上述技术问题，本发明提供一种分布式数据库数据在线迁移方法，其特征在于，包括如下步骤：

步骤1：部署分布式数据库集群下各个物理库的挖掘环境，将增量数据写入到指定topic中；

步骤2：配置并开启增量同步任务，读取topic中增量数据，将增量数据通过特殊账号写入到分布式数据库，所述特殊账号采用第二配置；

步骤3：当kafka成功记录了当前消费位置信息后停止增量同步任务；

步骤4：配置并开启全量同步任务，全量读取分布式数据库数据，所述全量读取采用第一配置，通过特殊账号再次写入到分布式数据库；

步骤5：再次开启增量同步任务，当全量数据全部同步结束后，再次读取topic中增量数据，将剩余的增量数据全部通过特殊账号写入到分布式数据库；

步骤6：当增量同步任务全部结束后，开启通知机制通知分布式数据库进行配置切换，将第一配置切换到第二配置；

步骤7：以上步骤全部完成后，根据主键删除旧分片的冗余数据。

所述步骤1包括：

步骤1-1：在kafka上为分布式数据库集群下各个物理库实例分别申请一个topic；

步骤1-2：为分布式数据库集群下各个物理库实例开启binlog日志挖掘，捕获并分析binlog日志中每一个事件的信息，将解析出来的变更记录写入到对应的topic中。