[发明专利]一种用于异构数据库中数据迁移的代码生成方法及装置

权利要求书

1.一种用于异构数据库中数据迁移的代码生成方法，其特征在于，包括：

获取脚本文件和映射信息；

根据所述映射信息处理数据迁移模板，生成数据读写任务，所述数据读写任务用于从源数据库读取待迁移数据，并用于向目标数据库写入所述待迁移数据；

根据所述脚本文件和所述映射信息，处理所述数据迁移模板，生成数据转换任务，所述数据转换任务，用于将所述待迁移数据的数据形式从源数据库表转换至目标数据库表；

通过运行所述数据读写任务和数据转换任务，将所述待迁移数据从所述源数据库迁移至所述目标数据库；

还包括：

在运行所述数据读写任务和所述数据转换任务之前，读取业务逻辑信息；

并通过业务逻辑修改生成的代码，当表中的通用字段不需要时，将不需要的字段放到List中，并在遍历FieldEntity信息时，如果字段包含在List，则不对其进行操作；

其中，通过业务逻辑修改生成的代码包括：将hive数据库字段的分隔符替换为无字符；

所述脚本文件包括：源数据库的建表脚本文件和目标数据库的建表脚本文件，所述映射信息包括：源数据库表与主键字段对应关系，和源数据库表与目标数据库表对应关系；

所述生成数据读写任务，包括：

从所述数据迁移模板中，读取用于代码生成的类文件，所述类文件包括：抽取动作类文件、修改替换类文件和建表脚本创建类文件；

根据所述映射信息，更新所读取的类文件；

所述更新所读取的类文件，包括：

根据所述源数据库表与目标数据库表对应关系，创建抽取动作类文件；

根据源数据库表与主键字段对应关系，更新修改替换类文件中的指定字段；

生成数据转换任务，包括：

获取所述目标数据库的表信息，并根据所述源数据库表与目标数据库表对应关系，获取所述源数据库的表信息；

获取所述源数据库的主键信息，并利用所述目标数据库的表信息、所述源数据库的表信息和所述源数据库的主键信息，导入所述源数据库的建表脚本文件。

2.一种用于异构数据库中数据迁移的代码生成装置，其特征在于，包括：

预处理模块，用于获取脚本文件和映射信息；

第一处理模块，用于根据所述映射信息处理数据迁移模板，生成数据读写任务，所述数据读写任务用于从源数据库读取待迁移数据，并用于向目标数据库写入所述待迁移数据；

第二处理模块，用于根据所述脚本文件和所述映射信息，处理所述数据迁移模板，生成数据转换任务，所述数据转换任务，用于将所述待迁移数据的数据形式从源数据库表转换至目标数据库表；

执行模块，用于通过运行所述数据读写任务和数据转换任务，将所述待迁移数据从所述源数据库迁移至所述目标数据库；

清洗模块，用于在运行所述数据读写任务和所述数据转换任务之前，读取业务逻辑信息；并通过业务逻辑修改生成的代码，当表中的通用字段不需要时，将不需要的字段放到List中，并在遍历FieldEntity信息时，如果字段包含在List，则不对其进行操作；其中，通过业务逻辑修改生成的代码包括：将hive数据库字段的分隔符替换为无字符；

所述脚本文件包括：源数据库的建表脚本文件和目标数据库的建表脚本文件，所述映射信息包括：源数据库表与主键字段对应关系，和源数据库表与目标数据库表对应关系；

所述第一处理模块，具体用于从所述数据迁移模板中，读取用于代码生成的类文件，所述类文件包括：抽取动作类文件、修改替换类文件和建表脚本创建类文件；根据所述源数据库表与目标数据库表对应关系，创建抽取动作类文件；根据源数据库表与主键字段对应关系，更新修改替换类文件中的指定字段；

所述第二处理模块，具体用于获取所述目标数据库的表信息，并根据所述源数据库表与目标数据库表对应关系，获取所述源数据库的表信息；获取所述源数据库的主键信息，并利用所述目标数据库的表信息、所述源数据库的表信息和所述源数据库的主键信息，导入所述源数据库的建表脚本文件。