[发明专利]ETL模块自动维护方法及系统

说明书

技术领域

本发明涉及数据库领域，特别是涉及对ETL模块自动进行维护的方法及 ETL模块自动维护系统。

背景技术

数据仓库是在企业管理和决策中面向主题、集成的、与时间相关的、不 可修改的数据集合。也就是说，对所有的应用系统，例如客户关系管理(CRM， Customer Relationship Management)系统、财务系统等，按主题进行集成，并 记录整个历史变化情况。随着企业信息化程度的不断提高，企业内部积累了 大量的业务数据，数据仓库用于对这些相互独立、分散的数据进行统一处理， 以满足企业高层决策与分析需要。

参照图1，其为数据仓库系统的体系结构框图。整个数据仓库系统是一个 包含四个层次的体系结构，包括数据源101、数据仓库102、联机分析处理 (OLAP，on-line analytical processing)系统103及前端工具104，其中：

数据源101，是数据仓库系统的基础，通常包括企业内部信息和外部信息。 内部信息包括各种业务处理数据和各类文档数据，外部信息包括各类法律法 规、市场信息和竞争对手的信息等。例如，CRM系统，财务系统。

数据仓库102，是以数据表的结构存储所述数据源101的数据，每个数据 表对应一个数据对象，一个数据源可以对应多个数据对像。

OLAP系统103，用于对分析需要的数据进行有效集成，按多维模型予以 组织，以便进行多角度、多层次的分析，并发现趋势。

前端工具104，主要包括各种报表工具，查询工具、数据分析工具、数据 挖掘工具以及各种基于数据仓库的应用开发工具，实现对数据仓库102的访 问。其中，数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具 主要针对数据仓库。

数据仓库的ETL模块是对数据抽取(extract)、转换(Transform)、装载 (Load)的过程，是对OLAP系统开发的过程。其中，所述数据抽取是指从 源系统中提取数据；所述数据转换是指开发者将提取的数据，按照业务需要 转换为目标数据结构，并实现汇总；所述数据装载是指加载经转换和汇总的 数据到目标数据仓库中。每一ETL模块用于完成对数据的一项处理，如上述 提及的数据抽取、转换、装载，并对处理结果以数据表的形式保存在数据仓

库中，以提供企业管理和决策中使用。

也就是说，ETL模块是一预先编好程序。大多数ETL模块是定周期执行 的，如每天、每周或每月。在一些大型的OLAP系统中，服务器在同一时间 点通常要执行几个ETL模块，而每一ETL模块执行时都需要占用相应的系统 资源，如CPU、内存资源。随着公司业务的不断扩大和市场的快速变化，带 来分析需求数据的高速增长，所产生的数据源和需分析的数据对象也不断增 长，也使得设置的ETL模块也不断增加，这就造成了服务器在同一时间点需 要执行的ETL模块可能会增加，由此导致很多ETL模块由于没有相应的资源 而导致异常中断的现象出现。还有，现有的OLAP系统通常是运用Oracle数 据库进行开发的，Oracle数据库等数据库开发软件的不断升级也会导致系统 不稳定，由此造成ETL模块运行过程中出现异常情况导致执行中断。

然而，ETL模块执行后得到的数据表，是公司或企业需要及时看到的数 据表，以便能通过该些数据表中的数据作出下一步的决策和分析。因此，目 前对ETL模块的维护是直接通知相应的技术人员，由人工进行维护。这种维 护存在着很多的问题：

服务器根据每一ETL模块的预先设定来执行ETL模块，在24小时内很 有可能都有ETL模块在运行，任何时刻都有可能出现报错。这就使得公司或 企业采用24小时技术人员轮岗制或发现出错信息后通知技术人员来修理ETL 模块的出错。采用24小时技术人员轮岗制不仅增加人工成本，而且对于ETL 模块的错误能否进行能够进行维护及维护的时间与技术人员的水平也极有关 系，而采用后一种方式来进行ETL模块的维护存在很多的不确定性，技术人 员为了能尽快地维护出错模块，对技术人员有很多的不便，同时，ETL模块 维护的时间很容易出现延迟，且延迟的时间、是否能维护存在着诸多的不确 定性。即，ETL模块维护存在维护时间长、不确定性大的技术问题。

发明内容