[发明专利]一种异构海量数据高效低成本的装载方法

摘要

本发明涉及一种异构海量数据高效低成本的装载方法，包括以下步骤：将异构数据源转换成通用统一的平面文件接口；用户将数据传送到FTP服务器；对目标数据库创建接口缓冲表和对接口表按日期分区；入库装载程序收到文件后，检测校验文件和原始数据文件是否一致；若为是，则入库，且标志入库到入库接口缓冲表并标记文件状态为正常；若为否，则标志异常及异常原因；将缓冲区数据进行数据清洗并插入到正式的入库接口表中。与现有技术相比，本发明有效的解决了异构海量数据装载的问题，同时避免了高投入采购第三方ETL软件和专业技术人员，为中小型公司降低开发成本提供了解决方案。

主权项

1.一种异构海量数据高效低成本的装载方法，其特征在于，包括以下步骤：(1)将异构数据源转换成通用统一的平面文件接口；(2)用户将数据传送到FTP服务器；(3)对目标数据库创建接口缓冲表和对接口表按日期分区；(4)入库装载程序收到文件后，检测校验文件和原始数据文件是否一致；(5)若步骤(4)中的检测结果为是，则入库，且标志入库到入库接口缓冲表并标记文件状态为正常；(6)若步骤(4)中的检测结果为否，则标志异常及异常原因；(7)将缓冲区数据进行数据清洗并插入到正式的入库接口表中。