[发明专利]一种异构海量数据高效低成本的装载方法

说明书

技术领域

本发明涉及海量数据高效率且稳定可靠的数据装载方案，特别涉及一种异构 海量数据高效低成本的装载方法。

背景技术

BI运作所依靠的信息系统是一个由传统系统、不兼容数据源、数据库与应用 所共同构成的复杂数据集合，各个部分之间不能彼此交流。从这个层面看，目前 运行的应用系统是企业在花费了很大精力和财力构建的、不可替代的系统，尤其 是系统的数据。而新建的BI系统目的就是要通过数据分析来辅助自己决策，恰恰 这些数据的来源、格式不一样，导致了系统实施、数据整合的难度。此时，企业 非常希望有一个全面的解决方案来解脱自己的困境，解决数据一致性与集成化问 题，从而能够从所有传统环境与平台中采集数据，并利用一个单一解决方案对其 进行高效的转换。这个解决方案就是ETL(extraction，transformation and loading)。

实施ETL，一是采用第三方的工具，比方说Data Integrator，Data stage，Infomatica 等工具不但采购成本高，还要专门的服务器软硬件配置，而且还要专业的技术开 发人员和系统维护人员，这些对于大部分中小企业是很难接受的。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷，提供一种高效率且稳 定可靠的异构海量数据高效低成本的装载方法。

本发明的目的可以通过以下技术方案来实现：一种异构海量数据高效低成本 的装载方法，其特征在于，包括以下步骤：

(1)将异构数据源转换成通用统一的平面文件接口；

(2)用户将数据传送到FTP服务器；

(3)对目标数据库创建接口缓冲表和对接口表按日期分区；

(4)入库装载程序收到文件后，检测校验文件和原始数据文件是否一致；

(5)若步骤(4)中的检测结果为是，则入库，且标志入库到入库接口缓冲 表并标记文件状态为正常；

(6)若步骤(4)中的检测结果为否，则标志异常及异常原因；

(7)将缓冲区数据进行数据清洗并插入到正式的入库接口表中。

该方法采用高并行直接路径进行数据装载。

所述的入库接口缓冲表的属性为并行，关闭日志，无索引和约束。

所述的平面文件为压缩文件。

所述的入库接口表采用复合分区，所述的入库接口表的属性为并行，关闭日 志，无索引和约束。

所述的入库接口表的复合分区为首先按日对数据进行分区，其次按照用户ID 末两位进行列表分区。

该方法自动生成接口入库状态监控报表。

与现有技术相比，本发明有效的解决了异构海量数据装载的问题，同时避免 了高投入采购第三方ETL软件和专业技术人员，为中小型公司降低开发成本提供 了解决方案。

附图说明

图1是本发明一种异构海量数据高效低成本的装载方法的流程图；

图2是本发明一种异构海量数据高效低成本的装载方法的硬件结构示意图。

具体实施方式

如图1所示，本发明涉及一种异构海量数据高效低成本的装载方法，该方法 包括其它厂商通过CLIENT-FTP将数据传送到FTP服务器(同数据库服务器处于同 一个局域网)；入库装载程序收到文件后，检查校验文件和原始数据文件，若一致 则入库，并标志入库到数据库缓存表并标记文件状态为正常，否则标志异常及异 常原因；最后一步将缓冲区数据进行数据清洗并插入到正式接口表中。

一种异构海量数据装载处理方法，该方法异构数据源集成；

(1)采用高并行直接路径数据装载；增加入库缓冲接口表，对入库接口表按日分 区；

(2)存在多种数据源，合并来自多个数据存储的数据；

(3)将不同数据源的数据转储到平面cvs文件，字段间用tab分隔；

(4)对生成的平面cvs文件进行压缩，降低网络传输流量，提高通信效率；

(5)生成的压缩文件通过Internet或Internat传输到FTP服务器；

(6)对入库接口表增加一层接口缓冲表，其属性为并行，关闭日志，无索引和 约束；