[发明专利]一种数据迁移方法、系统及电子设备

说明书

本发明提出一种数据迁移方法、系统及电子设备，其中，所述方法包括：步骤S1、创建数据迁移作业并进行配置，经配置的作业至少包括主数据输入模块和数据输出模块，所述主数据输入模块被配置为：从源数据库抽取待迁移的第一数据；所述数据输出模块被配置为：支持配置保存为多种格式文件或写入到目标数据库；步骤S2、通过离线模式触发作业执行或者在线模式触发作业执行；步骤S3、通过所述作业执行，完成数据迁移本发明可以实现提升数据迁移效率，保护数据安全等目标。

技术领域

本发明属于计算机技术领域，尤其涉及一种数据迁移方法、系统及电子设备。

背景技术

现代信息技术高速发展，政府、企业信息化进程加快，新老系统更迭频繁，产生了很多数据迁移需求。常见的需求包括系统之间数据交换，数据库之间的数据迁移，文件数据导入和数据导出为文件等。调查发现，很多企业在数据迁移时面临很多困难，包括没有找到合适的迁移工具；通过自研迁移接口或者软件实现数据迁移，但是由于异构数据转换过程比较复杂，经常导致实际迁移效率低下、研发成本超过预期等问题；而且对于一次性的迁移工作，本次开发的迁移功能在迁移后闲置无用，造成浪费。

当前企业中数据迁移现状：

第一类：使用数据库管理工具，如navicat，pl/sql等，可以实现简单场景的数据迁移，但是比较依赖特定数据库，对异构数据转换、多种数据源、大数据量等常见场景支持不够。

第二类：企业技术人员针对特定需求开发数据迁移功能模块，可以实现特定复杂业务场景的数据迁移，但是在通用性、实现成本等方面存在严重短板。

第三类：各大厂商提供的收费产品，如oracle的DCT产品，或者免费开源的ETL工具，如kettle等，可以实现复杂异构数据转换和存储，但是这些软件配置复杂，很难直接接入企业的自动化平台，实现异构数据的在线迁移，同时这些工具也不具备权限校验和迁移历史审计功能，不利于保护数据安全。

因此，企业需要一款支持在线和离线迁移场景、支持异构数据较复杂的迁移场景、能集群部署提高迁移效率、配置简单易于理解、支持迁移历史记录审计、能保障数据安全的迁移系统。

发明内容

为解决上述技术问题，本发明提出一种数据迁移的技术方案，以至少部分解决上述技术问题。

本发明第一方面公开了一种数据迁移方法；所述方法包括：

步骤S1、创建数据迁移作业并进行配置，经配置的作业至少包括主数据输入模块和数据输出模块，所述主数据输入模块被配置为：从源数据库抽取待迁移的第一数据；所述数据输出模块被配置为：支持配置保存为多种格式文件或写入到目标数据库；所述经配置的作业还包括额外数据输入模块，被配置为从额外数据库抽取第二数据，最终输出的数据的一部分是从所述额外数据输入模块配置的额外数据源中抽取的所述第二数据，或者最终输出的数据的一部分是通过转化所述第二数据得到的；

步骤S2、通过离线模式触发作业执行或者在线模式触发作业执行；

步骤S3、所述作业执行包括：根据所述主数据输入模块的配置加载主表，并根据系统配置的负载均衡策略将所述主表的数据分配到多个计算节点共同处理；根据所述额外数据输入模块的配置，每个计算节点加载全部副表数据，所述副表为所述额外数据输入模块抽取的数据表；执行主表数据转换，每执行完一个转换步骤，把结果数据存入第二数据库redis，更新第一数据库mysql中对应作业执行记录的进度；通过所述作业执行，完成数据迁移。根据本发明第一方面的方法，在所述步骤S1中，将经配置的作业存入第一数据库。

根据本发明第一方面的方法，在所述步骤S1中，所述经配置的作业还包括：

列操作模块：对主表进行操作，包括增加列，删除列，更改列的名称和定义列的字段属性中的一个或多个，所述主表为所述主数据输入模块抽取的数据表；

列数据设置模块，被配置为：定义指定列和对所述指定列的所有行数据进行转换的规则；