[发明专利]一种异构海量数据高效低成本的装载方法

权利要求书

1.一种异构海量数据的装载方法，其特征在于，包括以下步骤：

(1)将异构数据源转换成通用统一的平面文件接口；

(2)用户将数据传送到FTP服务器；

(3)对目标数据库创建接口缓冲表和对接口表按日期分区；

(4)入库装载程序收到文件后，检测校验文件和原始数据文件是否一致；

(5)若步骤(4)中的检测结果为是，则入库，且标志入库到入库接口缓 冲表并标记文件状态为正常；

(6)若步骤(4)中的检测结果为否，则标志异常及异常原因；

(7)将缓冲区数据进行数据清洗并插入到正式的入库接口表中。

2.根据权利要求1所述的一种异构海量数据的装载方法，其特征在于，该 方法采用高并行直接路径进行数据装载。

3.根据权利要求1所述的一种异构海量数据的装载方法，其特征在于，所 述的入库接口缓冲表的属性为并行，关闭日志，无索引和约束。

4.根据权利要求1所述的一种异构海量数据的装载方法，其特征在于，所 述的平面文件为压缩文件。

5.根据权利要求1所述的一种异构海量数据的装载方法，其特征在于，所 述的入库接口表采用复合分区，所述的入库接口表的属性为并行，关闭日志， 无索引和约束。

6.根据权利要求5所述的一种异构海量数据的装载方法，其特征在于，所 述的入库接口表的复合分区为首先按日对数据进行分区，其次按照用户ID末 两位进行列表分区。

7.根据权利要求1所述的一种异构海量数据的装载方法，其特征在于，该 方法自动生成接口入库状态监控报表。