[发明专利]流式数据系统中的处理单元管理

摘要

流应用可能低效地使用执行数据流的处理单元的硬件资源。例如，计算节点可以托管四个处理单元，并且使用CPU来执行每一个。然而，在该计算节点上的其他CPU可能保持空闲。为了利用这些可用的硬件资源，流编程人员可以识别可以被克隆的一个或多个处理单元。该克隆的处理单元可以用于产生与包括原始处理单元的执行路径并行的不同执行路径。因为克隆的处理单元与原始处理单元包含相同的操作子，所以先前仅流经原始处理单元的数据流可以被分离并通过原始和克隆的处理单元来发送。以这种方式，并行执行路径可以使用未充分利用的硬件资源来增大数据流的吞吐量。

主权项

一种用于管理处理单元的方法，包括：接收将被包括一个或多个操作子的多个处理单元处理的流式数据，所述操作子通过一个或多个计算机处理器的操作来处理所接收的数据的至少一部分；建立多个操作子的操作子图，所述操作子图定义至少一个执行路径，在该执行路径中，所述多个操作子的第一操作子被配置为从至少一个上游操作子接收数据元组，并且向至少一个下游操作子发送数据元组；相对于预定义的标准识别在执行所述操作子的计算系统中未充分利用的硬件资源；克隆所述多个处理单元的第一处理单元，使得克隆的处理单元与所述第一处理单元包括相同的一个或多个操作子；产生包括所述克隆的处理单元的第一执行路径，所述第一执行路径被配置为采用所述未充分利用的硬件资源处理所接收的流式数据的至少一部分，所述第一执行路径与配置的包括所述第一处理单元的第二执行路径并行地执行；以及在所述操作子图中所述第一执行路径和第二执行路径的下游启动第二处理单元，该第二处理单元包括合并操作子，该合并操作子将从在所述第一执行路径和第二执行路径接收的数据元组合并成单个数据流。