[发明专利]流式数据系统中的处理单元管理

说明书

技术领域

本发明的实施例总体上涉及流计算应用。具体地说，所公开的实施例公开了分布处理单元或操作子(operator)以在流计算环境中未充分利用的硬件资源。

背景技术

随着计算机数据库已经变得极为复杂，对于数据库系统设置的计算要求也已经以快速的步调增加。数据库系统通常被配置为将存储数据的处理与访问、操纵或使用在数据库中存储的数据的操作分离。更具体地，数据库使用下述模型：其中，数据首先被存储，然后被添加索引并且最后被查询。然而，该模型不能满足一些实时应用的性能要求。例如，数据库系统可以接收和存储进入数据的速率限制了可以处理或以其他方式评估多少数据。这继而可以限制数据库应用实时地处理大量数据的能力。

发明内容

本发明的实施例提供了一种用于处理数据的方法、系统和计算机程序产品。所述方法、系统和计算机程序接收将由包括一个或多个操作子的多个处理单元处理的流式数据。所述操作子通过一个或多个计算机处理器的操作来处理所接收的数据的至少一部分。所述方法、系统和计算机程序建立多个操作子的操作子图。所述操作子图定义至少一个执行路径，在该执行路径中，多个操作子的第一操作子被配置为从至少一个上游操作子接收数据元组，并且向至少一个下游操作子发送数据元组。所述方法、系统和计算机程序相对于预定义的标准识别在执行所述操作子的计算系统中未充分利用的硬件资源。所述方法、系统和计算机程序克隆所述多个处理单元的第一处理单元，使得克隆的处理单元与所述第一处理单元包括相同的一个或多个操作子。所述方法、系统和计算机程序在包括克隆的处理单元的第一执行路径中处理所接收的流式数据，所述第一执行路径与包括所述第一处理单元的第二执行路径并行地执行。此外，克隆的处理单元使用所述未充分利用的硬件资源来处理所接收的流式数据。

在另一个实施例中，一种接收将被包括一个或多个操作子的多个处理单元处理的流式数据的方法。所述操作子通过一个或多个计算机处理器的操作来处理所接收的数据的至少一部分。所述方法建立多个操作子的操作子图。所述操作子图定义至少一个执行路径，在该执行路径中，多个操作子的第一操作子被配置为从至少一个上游操作子接收数据元组，并且向至少一个下游操作子发送数据元组。所述方法相对于预定义的标准识别在执行所述操作子的计算系统中的未充分利用的硬件资源。所述方法也从多个处理单元的第一处理单元去熔合第一操作子，所述第一处理单元包括多个操作子。所述方法将所述第一操作子熔合到所述多个处理单元的第二处理单元内。在熔合所述第一操作子后，所述方法使用第一操作子处理所接收的流式数据的至少一部分，其中，所述第一操作子使用所述未充分利用的硬件资源来处理所接收的流式数据的所述部分。

附图说明

为了获得并可以详细理解上述方面，可以通过参考附图来提供上面简短汇总的本发明的实施例的更具体的说明。

然而，应当注意，附图仅图示了本发明的典型实施例，并且因此不被认为限制其范围，因为本发明可以允许其他等价有效的实施例。

图1A-1B图示了根据本发明的实施例的、被配置为执行流计算应用的计算基础架构。

图2是根据本发明的一个实施例的图1A-1B的计算节点的更详细视图。

图3是根据本发明的一个实施例的图1A-1B的服务器管理系统的更详细视图。

图4是图示根据本发明的一个实施例的、用于在操作子图中克隆处理单元的技术的流程图。

图5A-5C图示了根据本发明的实施例的、克隆处理单元以建立并行执行路径。

图6A-6B图示了根据本发明的实施例的、向一个或多个计算节点上的CPU分发克隆处理单元。

图7A-7B图示了根据本发明的实施例的、克隆在单个执行路径中的多个处理单元以产生一个或多个并行执行路径。

图8A-8D图示了根据本发明的实施例的、去熔合(unfuse)和向多个CPU上分发处理单元的操作子。

为了有利于理解，在可能时，已经使用相同的附图标号来指定对于附图公共的相同元件。考虑在一个实施例中公开的元件可以有益地用在其他实施例上，而不再复述。

具体实施方式