[发明专利]数据仓库调度方法及调度系统

说明书

技术领域

本发明涉及数据库领域，尤其涉及数据仓库中调度方法及调度系统。

背景技术

数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、 不可修改的数据集合。也就是说，对所有的应用系统，例如客户关系管理 (CRM，Customer Relationship Management)系统、财务系统等，按主题进行 集成，并记录整个历史变化情况。随着企业信息化程度的不断提高，企业内 部积累了大量的业务数据，数据仓库用于对这些相互独立、分散的数据进行 统一处理，以满足企业高层决策与分析需要。

参照图1，其为数据仓库系统的体系结构框图。整个数据仓库系统是一个 包含四个层次的体系结构，包括数据源101、数据仓库102、联机分析处理 (OLAP，on-line analytical processing)系统103及前端工具104，其中：

数据源101，是数据仓库系统的基础，通常包括企业内部信息和外部信息。 内部信息包括各种业务处理数据和各类文档数据，外部信息包括各类法律法 规、市场信息和竞争对手的信息等。例如，CRM系统，财务系统。

数据仓库102，是以数据表的结构存储所述数据源101的数据，每个数据 表对应一个数据对象，一个数据源可以对应多个数据对象。

OLAP系统103，用于对分析需要的数据进行有效集成，按多维模型予以 组织，以便进行多角度、多层次的分析，并发现趋势。

前端工具104，主要包括各种报表工具、查询工具、数据分析工具、数据 挖掘工具以及各种基于数据仓库的应用开发工具，实现对数据仓库102的访 问。其中，数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具 主要针对数据仓库。

数据源101中的数据实时进行更新，以网络交易为例，网络上实时进行 很多操作，如新会员进行注册、老会员修改信息、商品进行交易等等，这些 数据实时地在数据源101中进行保存或修改。服务器通常需要定期根据数据 源101中的数据处理数据仓库102中的数据。调度包括两方面的内容，同步/ 刷新。“同步”是指将数据源的数据复制到数据仓库。“刷新”是指对原始数 据进行处理、计算，更新数据仓库的数据。

还是以网上交易为例，当用户甲完成会员注册后，当天进行了N笔商品 的交易。这些数据实时的记录在数据源101中。数据仓库102定时每天将这 些数据复制过来，我们称之为“同步”。假设数据仓库102中包括一张宽表， 该宽表中每一记录表示一个会员的基本信息和交易信息，该宽表的字段包括 “用户名”、“用户地址”、“用户身份信息”、“用户首次注册时间”、“用户当天 交易额”、“用户累计交易额”等，服务器以天为单位，通过对原始数据的计算， 修改数据仓库102中数据，我们称之为“刷新”。

并且，服务器定期根据数据源101中的数据处理数据仓库102中的数据 时，将处理可通过设置若干任务等来完成，每一任务完成一次或一批数据仓 库102中的数据同步/刷新。还是以上例来说明，建立任务1来完成从数据源 101同步数据到数据仓库102，建立任务2来完成宽表中“用户名”、“用户地址”、 “用户身份信息”、“用户首次注册时间”等字段的数据的更新，建立任务3来完 成宽表中“用户当天交易额”字段的更新，建立任务4来完成宽表中“用户累计 交易额”字段的更新。任务2和任务3是需要先后顺序，再完成任务2后才能 完成任务3。上述实现根据数据源101中的数据处理数据仓库102中数据的过 程，我们称之为数据仓库102的调度。

现有的数据仓库调度方法包括以下步骤：

首先，将所有的任务等需要处理器处理的单元划按照数据处理类型分为 同步处理单元和刷新处理单元；

接着，确认同步处理单元中任务执行的规则；

随后，按照任务的依赖关系(比如，任务3依赖于任务2)以及服务器性 能等来确认刷新处理单元中一共有多少条执行线并排执行，以及每一执行线 中的任务个数及任务的先后顺序(如图2所示)；

随后，服务器先执行同步处理单元中每一任务；

最后，当同步处理单元中每一任务都执行完毕后，按照处理单元中设定 的并排执行线及每一执行线的任务，并排执行该些任务。

上述的数据仓库调度方法存在以下缺陷：