[发明专利]一种基于数据仓库自动化的数据迁移系统及方法

权利要求书

1.一种基于数据仓库自动化的数据迁移方法，其特征在于包括以下步骤：

A：数据源端ETL任务将接口表中数据生成数据文件，并将接口表生成数据文件信息进行Md5加密，生成控制文件；

B：将数据文件组及控制文件作为一个接口单元上传至ftp服务器；

C：目标主机ETL任务调起shell脚本，检测ftp服务器中接口单元控制文件是否存在，如存在则表明接口单元中数据文件已全部接收，将接收到的数据文件信息进行Md5解密，与控制文件中信息进行比对，避免网络传输过程中丢包导致的文件缺失，保证接收文件的完整性，进而保证数据的完整性；

D：数据文件校验通过后进行入库操作，ETL任务依次将数据文件入库，入库完成后调用稽核脚本，进行业务数据质量稽核；

所述数据源端ETL任务将接口表中数据生成数据文件，并将接口表生成数据文件信息进行Md5加密，生成控制文件的步骤包括：

A1：数据源端数据开始传输；

A2：在接口单元生成数据文件，数据文件根据其大小形成分卷形式的数据文件；

A3：在接口单元生成控制文件，对控制文件进行MD5加密，给控制文件标记识别码以保证数据文件的完整性，识别码包括数据文件记录的条数以及密文信息；

A4：采用FTP传输模式将生成的数据文件、控制文件进行上传，传输过程中可以采用串行传输或并行传输；

A5：在传输的过程中接口单元向入库模块发送邮件通知；

A6：完成传输。

2.根据权利要求1所述基于数据仓库自动化的数据迁移方法，其特征在于：所述数据文件校验通过后进行入库操作，ETL任务依次将数据文件入库，入库完成后调用稽核脚本，进行业务数据质量稽核的步骤包括：

D1：入库模块开始接手数据文件入库；

D2：入库模块检验控制文件是否存在，如果存在就进入下一步，如果不存在则继续等待；

D3：在入库模块中对控制文件进行对比以检验文件是否符合要求，如果不符合要求就放弃入库，如果符合要求就进入下一步；

D4：入库模块将数据文件入库，并生成入库日志；

D5：稽核数据文件脚本形成数据质量报告；

D6：向接口模块发送邮件通知；

D7：完成数据入库。