[发明专利]一种分布式缓存数据库数据迁移的方法及系统

说明书

本发明公开了一种分布式缓存数据库数据迁移的方法及系统，所述方法包括：CDB数据迁移期间，CDB控制节点确定CDB数据迁移完成后的稳态数据分片分布；所述CDB控制节点根据所述稳态数据分片分布，确定需要迁移至迁入节点的数据分片第一副本；所述CDB控制节点通知所述迁入节点，使所述迁入节点获取所述第一副本相关的分片数据。本发明实施例通过在数据迁移过程中同一数据分片的多个副本之间的相互转换，实现实时、高效、安全的迁移数据，数据迁移量小，不需要额外资源配合，且不会中断业务。

技术领域

本发明涉及数据迁移领域，特别涉及一种分布式缓存数据库数据迁移的方法及系统。

背景技术

随着无线通讯技术、存储介质的改变和虚拟化、云计算的快速发展，大量的实时的动态数据需要采用缓存的方式分布于各个云节点上，数据不再固定持久化到物理设备上，而是可以伴随系统的资源伸缩进行流动分布，因此研究分布式场景下的缓存数据的迁移已成为一个重要方向。

随着云平台、虚拟化技术的快速发展，快速部署、多业务共存，物理资源共享等越来越受到重视，以前的物理单板或服务器被虚机或容器所取代，整个运行系统的资源会根据一定的策略(比如时间或中央处理单元(Central Processing Unit，CPU)利用率)自动进行弹性伸缩及系统扩缩容，在此过程中要求不中断业务，不丢失数据。进一步说，分布式数据库在云化背景下，数据存储节点的弹性伸缩带来的内存数据的迁移是分布式缓存数据库的重要任务，但由于移动通讯的组网模型复杂，业务的实时性与不可中断性，以及运营中节点内存与网络带宽的限制等因素使得数据迁移成为一项敏感的处理。当云平台根据硬件资源及策略进行弹性伸缩的时候，如果节点上所缓存的数据发生丢失或失序，或过多的数据移动都会极大影响基于这些数据的业务的功能性，同时迁移的结果也直接影响数据分布的均衡性，处理不当会造成业务处理逻辑的复杂性增加。

同时，由于移动核心网业务模型的变化及内存容量的快速提升，分布式键值(Key-Value，KV)数据库需要更简洁、高效，与业务无关，不关心业务逻辑，支持事务和批量操作，且采用无锁模式，更高效利用CPU资源，不要求存储，对数据持久化没有要求。在物理服务器或虚拟资源上，数据节点与业务节点可以分开部署也可以共存，数据作为占用虚拟资源的一部分存在，可以伸缩。

在此种场景下，配置及运行数据被大量的存储在内存中，传统意义上的数据库的一个表被划分为多个子表，每一个子表存储其中一部分数据。这样，一个子表就叫一个分片，整个分布式数据采用内存分片的方式管理，一个分片可以有多个副本同时存在分布式节点上。数据对象根据不同对象分类，数据的对象通常会有不同的副本来存储这一数据对象的数据。

用户数据在内存分片的分布方法是基于用户数据标识进行分布的。数据迁移时，主要是基于分片，一次可以迁移一个或多个分片，迁移方便。迁移完成后内存释放回库内存池，其他分片可以使用。

由于网络带宽、物理资源及不中断业务等限制的因素，这就要求数据在迁移的时候尽可能的少移动分片，每个缓存数据库数据节点(CDB Data Node，CDN)节点上的第一副本对应的第二副本尽量均匀分布在异域节点上，在有容灾备份节点的场景下，应尽量避免或者减少数据在已有的CDN节点之间相互迁移，特别是跨域移动，迁移的过程不增加额外的虚拟资源，同域不同数据节点间的第一、第二副本总数偏差不超过1个副本，保证用户数据的完整、均衡，否则会影响业务操作的时延及数据一致性。

目前业界通常用的数据迁移方法有：

1、利用数据库本身触发dump机制，采用预先存储的方法，在业务低谷期进行源数据的备份，然后再到目的节点上进行恢复，同时配合日志操作文件进行增量加载达到迁移目的。

2、利用ms机制做级联复制，将准备迁移的分片进行级联主从到目的分片，采用主备切换的方式，然后再利用数据库工具解析切换换过程中产生的操作日志，将此日志内容在新的分片上再做一遍。