[发明专利]一种基于数据库分库分表的不停机客户数据迁移方法在审
申请号: | 202110300776.5 | 申请日: | 2021-03-22 |
公开(公告)号: | CN112948359A | 公开(公告)日: | 2021-06-11 |
发明(设计)人: | 李蓥正;李耀;彭磊 | 申请(专利权)人: | 武汉众邦银行股份有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/215;G06F16/22 |
代理公司: | 成都正煜知识产权代理事务所(普通合伙) 51312 | 代理人: | 李龙 |
地址: | 432200 湖北省武汉市黄陂区盘龙城经济开发区汉*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 数据库 分库分表 停机 客户 数据 迁移 方法 | ||
本发明涉及数据迁移领域,提供了一种基于数据库分库分表的不停机客户数据迁移方法,其主旨在于如何将老系统数据不停机迁移到新系统,且保迁移后进行验证,保证迁移准确性。其主要方案包括在T日设定的时间后进行一阶段数据迁移,迁移数据范围为T日之前老系统数据库中所有客户信息数据;打开新老系统业务交易开关,进行客户业务验证;进行二阶段数据迁移,二阶段迁移的数据为老系统T日0点后新增数据;新老系统并行,期间每日进行数据核对。
技术领域
本技术将运用于两个系统之间的数据迁移中,两个系统分别为老系统和新系统,老系统采用单库存储数据,新系统采用分库分表存储数据,通过该技术可以降低数据库表之间的耦合性,在不停机的前提下,实现较高的数据一致性。
背景技术
随着互联网技术的高速发展,由于老系统在最初设计时采用单库模式存储数据,单一数据库逐渐无法满足高速增长的用户数据规模以及日益复杂的客户信息采集需求,因此急需一种新的数据存储模式,分库分表便应运而生。新系统对客户信息进行重新建模,采用分库分表的方式,按一定规则分别存储到多个库当中。
按照新的数据模型进行数据迁移时,为了保证数据的一致性,通常会在迁移数据之前将服务停止,如果将服务停止后进行迁移,数据处理完成后需要立即启用新的数据模型,整个过程耦合度高,实施过程复杂,如果失败回退风险成本高,可能对业务带来不可预估的损失。
发明内容
在新系统上线时,存在老系统客户数据的迁移工作,迁移工作将分为两个阶段:一阶段迁移和二阶段迁移;本方案阐述在老系统不停机的情况下,完成老系统客户数据迁移到新系统中。客户数据在上线投产当天同步迁移,数据迁移完毕后,打开新老系统业务开关进行业务交易验证。新系统投产后,客户信息以新系统的数据为准;新老系统并行一段时间直至新系统稳定运行。
为达到如上目的,本发明采用如下技术方案:
一种基于数据库分库分表的不停机客户数据迁移方法,包括以下步骤:
s1.在T日设定的时间后进行一阶段数据迁移,迁移数据范围为T日之前老系统数据库中所有客户信息数据;
s2.在步骤s1之后,打开新老系统业务迁移开关,进行客户业务验证;
s3.在步骤s2之后,进行二阶段数据迁移,二阶段迁移的数据为老系统T日0点后新增数据;
s4.在步骤s3之后,新老系统并行,期间每日进行数据核对。
2.根据权利要求1所述的一种基于数据库分库分表的不停机客户数据迁移方法,其特征在于:所述步骤S1包括以下步骤:
步骤1.1:将检查脚本、统计脚本、脏数据清理脚本、迁移程序放置迁移服务器指定位置,其中迁移程序的迁移策略为:
一阶段数据迁移:因新系统有少量存量客户数据,迁移过程中应以新系统存量客户数据为准,故迁移时先在新系统数据库中创建临时表,然后将老系统数据库中所有数据迁移至临时表中,根据每条记录的证件号去新系统对应库中查找对应客户在新系统中的客户号,进行替换,然后将替换后的数据与新系统存量数据进行对比,根据证件号与证件类型判断新系统是否已有该条记录,若有则不迁移该条记录,否则迁移该条记录;
二阶段数据迁移:二阶段迁移范围为T日增量数据,其余步骤与一阶段一样;
步骤1.2:在T-1日设定的时间开始,使用步骤1.1中检查脚本进行数据检查、修改工作,具体检查老系统数据库中是否有异常数据:
如日期字段为不存在的日期,或者电话字段中有非法字符;若出现这些数据则要做对应修改;
步骤1.3:T日设定的时间后,使用步骤1.1中的迁移程序开始第一次迁移,迁移数据范围为T日之前老系统数据库中所有的客户信息数据,迁移策略为步骤1.1中的策略;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉众邦银行股份有限公司,未经武汉众邦银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110300776.5/2.html,转载请声明来源钻瓜专利网。
- 上一篇:危废自动上料装置
- 下一篇:一种滚筒及滚筒排屑机