[发明专利]一种数据迁移方法及装置有效
| 申请号: | 201610023934.6 | 申请日: | 2016-01-14 |
| 公开(公告)号: | CN106970921B | 公开(公告)日: | 2020-10-16 |
| 发明(设计)人: | 汤鑫斌;肖凌;翟习文;刘雍阳 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
| 主分类号: | G06F16/21 | 分类号: | G06F16/21 |
| 代理公司: | 北京晋德允升知识产权代理有限公司 11623 | 代理人: | 杨移 |
| 地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 数据 迁移 方法 装置 | ||
本申请公开了一种数据迁移方法及装置,用以解决现有技术中的数据迁移方式迁移效率较低,而且会对用户业务造成不良影响的问题。该方法包括:按照预定定时间隔,周期性地定时执行以下步骤:确定当前迁移游标值,以及从当前迁移游标值开始,划分出连续的多个时间区间,将当前迁移游标值更新为多个时间区间内的最大时间,迁移游标值初始时为源数据库中的各数据记录的最新修改时间中的最小时间;针对划分出的每个时间区间,分别生成对应于该时间区间的迁移任务,该迁移任务用于将源数据库中的各数据记录中,当前最新修改时间属于该时间区间的数据记录向目标数据库迁移;并发执行生成的各迁移任务。
技术领域
本申请涉及数据处理领域,尤其涉及一种数据迁移方法及装置。
背景技术
随着互联网和计算机技术的迅速发展,越来越多的业务可以在网上进行。
用户可以通过互联网向业务系统提交业务请求,业务系统根据接收的业务请求进行相应的业务处理,并向用户返回业务处理结果,在此过程中,业务系统会生成相应的业务数据,并将这些业务数据以数据记录的形式存储在该业务系统的数据库中。
在实际应用中,为了提高业务处理能力,经常需要对业务系统进行更新。当要将原业务系统升级为新业务系统时,若新业务系统使用的数据库(称为:目标数据库)与原业务系统使用的数据库(称为:源数据库)不相同,则需要相应地将源数据库中的数据向目标数据库中迁移,以便于新业务系统能够正常地为用户服务。
在现有技术中,有两种常用的数据迁移方式。第一种数据迁移方式,采用数据泵技术从源数据库中导出数据并转换为中间文件,再通过中间文件向目标数据库中导入从源数据库导出的数据。第二种数据迁移方式,是将原业务系统停止服务,然后,将根据源数据库中各数据记录的数据主键,将各数据记录向目标数据库迁移。
但是,第一种数据迁移方式仅适用于于待迁移数据量较小的场景,而当待迁移数据量较大时,迁移效率较低,而且,在迁移过程中由于原业务系统未停止服务,因此,源数据库中数据仍在变化,从而会影响用户业务的数据准确性。而第二种数据迁移方式需要将原业务系统停止服务,当待迁移数据量较大时,迁移效率较低,也会严重影响用户业务的处理及时性。
综上所述,现有技术中的数据迁移方式当待迁移数据量较大时,迁移效率较低,而且会对用户业务造成不良影响。
发明内容
本申请实施例提供一种数据迁移方法及装置,用以解决现有技术中的数据迁移方式当待迁移数据量较大时,迁移效率较低,而且会对用户业务造成不良影响的问题。
本申请实施例提供的一种数据迁移方法,所述方法用于基于迁移游标值,将源数据库中的数据向目标数据库迁移,所述迁移游标值初始时为所述源数据库中的各数据记录的最新修改时间中的最小时间,所述方法包括:
按照预定定时间隔,周期性地定时执行以下步骤:
确定当前迁移游标值,以及从当前迁移游标值开始,按照时间前进方向,划分出连续的多个时间区间,将当前迁移游标值更新为所述多个时间区间内的最大时间,所述最大时间不超过当前时间;
针对划分出的每个时间区间,分别生成对应于该时间区间的迁移任务,该迁移任务用于将所述源数据库中的各数据记录中,当前最新修改时间属于该时间区间的数据记录向所述目标数据库迁移;
并发执行生成的各迁移任务。
本申请实施例提供的一种数据迁移装置,所述装置用于基于迁移游标值,将源数据库中的数据向目标数据库迁移,所述迁移游标值初始时为所述源数据库中的各数据记录的最新修改时间中的最小时间,所述装置包括:
游标值更新模块,用于确定当前迁移游标值,以及从当前迁移游标值开始,按照时间前进方向,划分出连续的多个时间区间,将当前迁移游标值更新为所述多个时间区间内的最大时间,所述最大时间不超过当前时间;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610023934.6/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





