[发明专利]一种数据迁移方法、系统及电子设备

权利要求书

1.一种数据迁移方法，其特征在于，所述方法包括：

步骤S1、创建数据迁移作业并进行配置，经配置的作业至少包括主数据输入模块和数据输出模块，所述主数据输入模块被配置为：从源数据库抽取待迁移的第一数据；所述数据输出模块被配置为：支持配置保存为多种格式文件或写入到目标数据库；所述经配置的作业还包括额外数据输入模块，被配置为从额外数据库抽取第二数据，最终输出的数据的一部分是从所述额外数据输入模块配置的额外数据源中抽取的所述第二数据，或者最终输出的数据的一部分是通过转化所述第二数据得到的；

步骤S2、通过离线模式触发作业执行或者在线模式触发作业执行；

步骤S3、所述作业执行包括：根据所述主数据输入模块的配置加载主表，并根据系统配置的负载均衡策略将所述主表的数据分配到多个计算节点共同处理；根据所述额外数据输入模块的配置，每个计算节点加载全部副表数据，所述副表为所述额外数据输入模块抽取的数据表；执行主表数据转换，每执行完一个转换步骤，把结果数据存入第二数据库redis，更新第一数据库mysql中对应作业执行记录的进度；通过所述作业执行，完成数据迁移。

2.根据权利要求1所述的数据迁移方法，其特征在于，在所述步骤S1中，所述经配置的作业还包括：

列操作模块，被配置为：对主表进行操作，包括增加列、删除列、更改列名称和定义列的字段属性中的一个或多个，所述主表为所述主数据输入模块抽取的数据表；

列数据设置模块，被配置为：定义指定列和对所述指定列的所有行数据进行转换的规则；

行操作模块，被配置为：对所述主表的所有数据行进行数据清洗，包括去重和校验操作。

3.根据权利要求2所述的数据迁移方法，其特征在于，在所述步骤S2中，所述离线模式触发作业执行包括：用户通过页面选择经配置的作业并触发执行；所述在线模式触发作业执行包括：其他系统服务通过用表现层状态转化风格的接口RESTAPI触发一个作业开始执行。

4.根据权利要求3所述的数据迁移方法，其特征在于，在步骤S1中，当同一用户的经配置的作业数量多于一个时，所述配置作业还包括进行作业顺序配置操作。

5.根据权利要求4所述的数据迁移方法，其特征在于，在所述步骤S2中，所述触发作业执行之前，还包括：

通过页面请求或远程请求接受作业执行请求；

进行身份校验，查看作业执行请求人和要执行的作业的创建者是否一致，不一致则不予执行。

6.根据权利要求5所述的数据迁移方法，其特征在于，在所述步骤S3中，触发多个作业执行时，各作业间按照预先配置的顺序执行，前置作业的输出结果作为额外数据源供后置作业使用。

7.根据权利要求6所述的数据迁移方法，其特征在于，在所述步骤S3中，所述列操作模块、所述列数据设置模块和所述行操作模块，分别执行主表数据转换，如果执行正常，数据转换成功，合并被分配到各个计算节点的主表数据，并根据所述数据输出模块的配置进行输出；如果执行异常，提示异常信息，全部计算节点停止计算，保留所述第二数据库redis的数据供用户排查。

8.根据权利要求7所述的数据迁移方法，其特征在于，所述方法还包括：用户有权限对自己创建的作业的执行历史记录进行查询、审计；系统管理员账号有权限对所有作业的执行历史进行查询、审计。