[发明专利]数据仓库环境中的语义分组数据的并行处理

说明书

公开了用于并行处理数据仓库环境中的语义分组数据的系统和方法。在数据仓库应用中生成具有多个记录的数据存储对象。向每个记录添加哈希值。该哈希值具有整数域，并且被均匀分布到跨越数据存储对象的整数域。生成选择表来基于该哈希值的多个离散范围创建多个任务。然后，在多个任务的每一个上并行执行转换例程来生成对应于哈希值的多个离散范围中的每个范围的数据的信息块。

技术领域

这里描述的主题涉及数据仓库，并且更具体地讲涉及数据仓库环境中的语义分组数据的并行处理。

背景技术

企业数据仓库用作一种重要的平台，在该平台上嵌入了一些公司的多种应用。这些应用可以包括例如商业智能(BI)，客户关系管理(CRM)，以及企业资源计划(ERP)。当它们被嵌入在企业范围内(或者甚至是世界范围内)的系统蓝图中时，经常会引发一些冲突问题，比如大容量数据与用于处理该数据的良好定义的窄时隙之间的冲突。

就可用硬件的利用来说，有效数据处理是改善数据仓库性能并减少用于提供该数据的时间的关键需求。

如图1A所示，数据仓库应用平台100通常会具有两层结构：应用层101的一个或多个应用服务器102，每个应用服务器102拥有一个或者多个数据仓库应用。应用服务器102连接到数据库层103的数据库管理系统(DBMS)104，并且，运行在每个应用服务器102上的不同的(并行运行的)任务106必须处理从存储在DBMS 104上的表108读取的数据。DBMS 104可以包括一个或多个服务器。同时，数据目标，例如信息块(InfoCubes)、数据存储(DataStore)对象等，被数据仓库用户模式化来支持不同的应用以及决策制定。在已知的模型驱动架构中，要被处理的数据最常被结构化并且从数据模型组成元数据。因此，从类属数据仓库应用的角度讲数据的语义是未知的。

要被处理的数据通常取决于时间。例如，如图1B所示的，如果数据仓库应用从源系统提取帐单项目，则必须附上源系统中对于一个特定项目的修改顺序以便计算正确的delta(德耳塔)值。为了支持这种需求，除了使用语义关键词(例如，帐单号码)外还使用技术关键词(例如，请求(REQUEST)，记录号码(RECORDNUMBER))。

数据处理步骤(例如，数据存储对象中的数据激活，从一个数据目标到另一个数据目标的数据载入等)对于性能是至关重要的。为了能够处理海量数据，数据处理步骤必须被分布到采用不同任务106的多个应用服务器上，并且数据必须被相应地分离。典型地，一个任务106仅处理数据的一个子集，被称为数据分组，如图2所示。为了控制服务器工作负荷，由一个任务处理的记录的数目(或号码)必须由用户保留(分组大小)。此外，为了避免由于并发任务产生的数据丢失，用于一个特定语义关键词的多个记录必须在相同的分组中。如果多个记录被不同的任务并行地处理，可能会违反上面的段落中提到的先决条件。作为一个例子，如图1B所示，具有记录号码1、2、3和5的记录必须由一个任务来处理；而记录号码4可以由不同任务来处理。

在目前的数据仓库环境中，根据上面描述的条件进行的任务处理是限制因素之一。任务本身并不能确定要被处理的数据分组，这是因为，由于模型驱动构架，没有能够确保用于一个特定语义的所有记录都被读取的选择标准，因而任何分组大小的记录均被处理，并且每个记录都是由确切的一个进程来处理的。

由于一项任务不能选择它自己的数据，但所有任务取决于主进程，因而并行化程度受到了限制。相应地，需要一种主进程来创建数据分组并将结果传递给任务。

发明内容

本文档描述了实施任务处理算法的方法和系统。这种算法使得数据仓库应用随着并行任务的数量来成比例规划，而不会被限制于创建数据分组的主进程。