[发明专利]一种用于异构数据库中数据迁移的代码生成方法及装置

说明书

本发明实施例公开了一种用于异构数据库中数据迁移的代码生成方法及装置，涉及大数据技术领域，能够降低数据迁移中的代码开发的工作量，降低人工成本。本发明包括：获取脚本文件和映射信息；根据所述映射信息处理数据迁移模板，生成数据读写任务，所述数据读写任务用于从所述源数据库读取待迁移数据，并用于向所述目标数据库写入所述待迁移数据；根据所述脚本文件和所述映射信息，处理所述数据迁移模板，生成数据转换任务，所述数据转换任务，用于将所述待迁移数据的数据形式从源数据库表转换至目标数据库表；通过运行所述数据读写任务和数据转换任务，将所述待迁移数据从所述源数据库迁移至所述目标数据库。本发明适用于异构数据库的数据迁移。

技术领域

本发明涉及大数据技术领域，尤其涉及一种用于异构数据库中数据迁移的代码生成方法及装置。

背景技术

随着各类电商平台的规模越来越大，需要投入更多的成本维护、建设支撑电商平台的数据库系统。而不论是新的业务系统上线，还是老系统的备份升级，都往往都需要进行数据迁移。

在现有的数据迁移方案中，需要进行异构数据库之间的数据抽取、逻辑转换、落目标数据库、反抽对比验证等逻辑步骤，每个逻辑步骤都需要技术人员人工编写大量的代码和脚本。尤其是存在千万级甚至数以亿计数据行的数据表时，通常都需要技术人员针对每张数据表开发相应的代码和脚本，目前业内效率较高的技术人员，开发迁移一张数据表需要2-3个工作日，而一些大型的异构数据库之间数据迁移，往往需要集合多名技术人员投入几十个工作日才能完成数据迁移工作。极度消耗技术人员的时间精力，人工成本很高。

发明内容

本发明的实施例提供一种用于异构数据库中数据迁移的代码生成方法及装置，能够降低数据迁移中的代码开发的工作量，降低人工成本。

为达到上述目的，本发明的实施例采用如下技术方案：

提供一种异构数据库之间数据迁移的场景中，自动生成用于迁移的代码的方法。数据迁移过程中，主要需要运用于大数据平台的任务代码的生成，例如：Spark任务和Hive任务，其中：Spark任务用于从DB2抽取数据到Hive数据库以及将Hive数据库的数据迁移到MySQL数据库；Hive任务主要用于Hive数据库中的脚本执行。代码生成工具生成了所有Spark任务的代码，以及具有简单业务逻辑的Hive任务的代码。

从而降低了人工开发的工作量，节省技术人员的时间精力，降低人工成本。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的系统架构示意图；

图2为本发明实施例提供的方法流程示意图；

图3、图4为本发明实施例提供的装置结构示意图。

具体实施方式