[发明专利]一种基于数据仓库自动化的数据迁移系统及方法

说明书

本发明一种基于数据仓库自动化的数据迁移系统及方法，包括触发模块、接口单元、入库模块、服务器模块，其中触发单元跟接口单元相互连接，接口单元跟入库单元相互连接，触发模块、接口单元、入库模块均与服务器模块相互连接。分发明通过ETL（将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程）定时任务自动化执行，采用主流网络传输协议ftp传输数据文件，全程无需人工干预，真正实现了安全、可靠、有效的自动化数据迁移。

技术领域

本发明涉及数出处理技术领域，特别是一种采用主流网络传输协议(ftp)传输数据文件的数据迁移系统及方法。

背景技术

随着大数据时代的到来，数据仓库技术的迅速发展，人们将越来越多的意识到数据对企业的重要性。而系统之间的数据交互需求也越来越多。数据库之间的数据迁移一直以来都是一个难题。传统的数据迁移方案过多的依赖于数据库，如：通过dblink方式打通数据库连接。缺点如下：1、过分的依赖于数据库，若连接中断不能自动恢复2、长时间的数据交互增加了数据库的负载，影响数据库性能3、需要人工干预，工作量大。4、数据库之间耦合度太高，安全性得不到保障。

发明内容

本发明的目的在于提供一种全程无需人工干预，真正实现安全、可靠、有效的自动化数据迁移系统及方法。

为达到上述目的，本发明采用如下技术方案：

一种基于数据仓库自动化的数据迁移系统，包括触发模块、接口单元、入库模块、服务器模块，其中触发单元跟接口单元相互连接，接口单元跟入库单元相互连接，触发模块、接口单元、入库模块均与服务器模块相互连接。

在其中一个实施例中，所述触发模块是通过ETL定时任务自动化执行来触发数据迁移。

在其中一个实施例中，所述接口单元包括数据文件和控制文件。

在其中一个实施例中，所述入库模块包括入库日志和数据质量报告。

在其中一个实施例中，所述服务器模块包括接口服务器、目标服务器、FTP服务器。

在其中一个实施例中，所述数据文件采用分卷传输，传输方式为FTP传输，传输模式包括并行传输或串行传输。

在其中一个实施例中，所述控制文件通过FTP传输方式传输，所述控制文件采用MD5加密，具有识别码，所述识别码包括记录条数和密文信息。

本发明另一技术方案为：

一种数据迁移方法，包括以下步骤：

A：数据源端ETL任务将接口表中数据生成数据文件，并将接口表生成数据文件信息进行Md5加密，生成控制文件；

B：将数据文件组及控制文件作为一个接口单元上传至ftp服务器；

C：目标主机ETL任务调起shell脚本，检测ftp服务器中接口单元控制文件是否存在，如存在则表明接口单元中数据文件已全部接收，将接收到的数据文件信息进行Md5解密，与控制文件中信息进行比对，避免网络传输过程中丢包导致的文件缺失，保证接收文件的完整性，进而保证数据的完整性；

D：数据文件校验通过后进行入库操作，ETL任务依次将数据文件入库，入库完成后调用稽核脚本，进行业务数据质量稽核。

步骤A中：数据源端ETL任务将接口表中数据生成数据文件，并将接口表生成数据文件信息进行Md5加密，生成控制文件包括：

A1：数据源端数据开始传输；

A2：在接口单元生成数据文件，数据文件根据其大小形成分卷形式的数据文件；