[发明专利]数据提取、转化和加载的方法及系统

说明书

技术领域

本发明涉及数据处理技术，尤其涉及数据提取、转换和加载(ETL，Extraction-Transformation-Loading)的方法及系统。

背景技术

现代企业在信息化建设过程中，逐渐面临如何有效地利用企业中大量数据的问题，通过研究，目标数据仓库可以提供一个集成的数据平台，为数据分析和决策提供有效的支持。但数据源进入目标数据仓库之前须对其进行异构集成，因数据源常常是异构的，所谓异构也就是各条数据的构架、数据规范等存在差异，就需要对数据进行异构集成处理，使数据达到一致性。数据ETL方案就是为目标数据仓库提供一致性数据的方案。

目前，常用的数据ETL方案包括：

ETL系统接收来自业务处理系统的数据源后，调用预先设置好的抽取规则，对调用的抽取规则进行解析；采用解析的抽取规则从待抽取数据源中抽取数据；对抽取的数据进行转换，将转换后的数据加载到目标数据仓库中。加载到目标数据库的数据为具有一致性的统一目标数据，可作为联机分析处理、数据挖掘的基础。

图1为现有ETL系统的结构示意图，该系统包括抽取单元、转换单元和加载单元；抽取单元调用并解析预先配置的抽取规则，从待抽取数据源中抽取数据，将抽取的数据发送给所述转换单元；转换单元对抽取的数据进行转换，将转换后的数据发送给所述加载单元；加载单元将转换后的数据加载到所述目标数据仓库中。

来自各业务处理系统的数据源类型不一，现有方案中，针对不同类型的数据源，采用对应的不同ETL系统进行处理。具体地，由于数据源类型不同，需要采用不同的抽取规则从待抽取数据源中抽取数据；然后，再对抽取的进行转换和加载。

对每种不同类型的数据源，都需要采用相应的ETL系统进行处理，其成本较高。

发明内容

本发明提供了一种数据ETL的方法，该方法能够节省成本。

本发明提供了一种数据ETL的系统，该系统能够节省成本。

一种数据ETL的方法，该方法包括：

为不同类型的数据源配置不同的抽取规则；

获取待抽取数据源的类型，由获取的类型调用并解析对应的抽取规则；

采用解析的抽取规则从待抽取数据源中抽取数据；

对抽取的数据进行转换，将转换后的数据加载到目标数据仓库中。

一种数据ETL的系统，该系统包括规则配置单元、抽取单元、转换单元和加载单元；

所述规则配置单元，用于为不同类型的数据源配置不同的抽取规则；

所述抽取单元，用于获取待抽取数据源的类型，由获取的类型从所述规则配置单元中调用并解析对应的抽取规则，采用解析的抽取规则从待抽取数据源中抽取数据，将抽取的数据发送给所述转换单元；

所述转换单元，用于对抽取的数据进行转换，将转换后的数据发送给所述加载单元；

所述加载单元，用于将转换后的数据加载到所述目标数据仓库中。

从上述方案可以看出，本发明预先为不同类型的数据源配置不同的抽取规则，进行数据的ETL时，根据数据源类型的不同调用预先配置的相应抽取规则，解析调用的抽取规则，再由解析的抽取规则对数据源进行抽取，而后进行转换和加载。采用本发明方案，通过一套方案便可完成对不同类型的数据源进行ETL处理，无需像现有技术针对不同类型的数据源采用不同的ETL方案进行处理，从而，节省了成本。

附图说明

图1为现有技术数据ETL的系统结构示意图。

图2为本发明数据ETL的方法示意性流程图；

图3为本发明数据ETL的系统结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。

本发明中，预先为不同类型的数据源配置不同的抽取规则，进行数据的ETL时，根据数据源类型的不同调用预先配置的相应抽取规则，解析调用的抽取规则，再由解析的抽取规则对数据源进行抽取，而后进行转换和加载。参见图2，为本发明数据ETL的方法示意性流程图，该方法预先为不同类型的数据源配置不同的抽取规则，图2的流程包括以下步骤：

步骤201，获取待抽取数据源的类型，由获取的类型调用并解析对应的抽取规则。

本步骤可采用多种方式触发，例如，可随机触发，可周期性地触发，也可在需要时触发。以周期性触发进行说明，该方式需设置定时器，在本步骤之前，启动定时器，判断定时时刻是否到来，如果是，则执行所述获取待抽取数据源的类型的步骤，并重新启动定时器；否则，继续等待定时时刻的到来。