[发明专利]在消息中传送元组

说明书

背景技术

从一个或多个数据源接收的数据可以作为流传送。在一些应用中，实时处理数据流可能是合期望的。实时处理数据可以涉及在运行中（on-the-fly）处理数据而并不首先将数据存储到数据储存库中。

在其中要处理相对大量的数据的场景中，可以提供具有多个处理节点的分布式系统以并行执行数据流的不同部分的处理。

附图说明

关于以下附图描述一些实施例：

图1是依照一些实现方式的包括分布式流分析系统中的处理节点的示例布置的框图；

图2是根据一些实现方式的发布者（publisher）过程的流程图；

图3是根据一些实现方式的订阅者（subscriber）过程的流程图；以及

图4是根据一些实现方式的示例处理节点的框图。

具体实施方式

数据流分析系统可以包括用以执行数据流的处理的处理节点的布置。数据流的不同部分可以跨用于并行处理的处理节点分布，这增强总体系统吞吐量。处理节点还可以被布置在多个级中，其中具有一个或多个处理节点的第一级能够在数据流上执行第一操作。可以将来自第一级的结果提供给一个或多个处理节点的下一级，其能够在来自第一级的结果上执行第二操作。在一些情况中，在数据流分析系统中可以存在多于两个级。

处理节点可以是通过互连基础设施链接在一起的计算机或处理器。每一个处理节点可以执行在由处理节点所接收的数据上应用相应操作的流操作器（operator）。在处理节点中执行的流操作器可以在所接收的数据上应用某种类型的变换，或者可以基于所接收的数据计算结果数据。

图1示出在多个级102、104、106、108和110中提供的处理节点的示例布置。在图1的示例中，每一级具有多个处理节点（表示为圆圈）。在每一个处理节点内，字母（图1中所示的P、A、B、D和C）表示在处理节点中执行的流操作器的对应实例。流操作器可以是用户定义的操作器或预定义（预编程）的操作器。用户定义的操作器是可以由用户创建并且添加到分布式流分析系统的操作器。

数据源100发射可以提供给第一级102的数据。可以存在各种不同类型的数据源100。例如，数据源100可以是传感器、移动设备、社交联网数据源、企业（诸如商行、教育机构、政府机关等）中的数据源或者任何其它数据源。尽管在图1中描绘了仅一个数据源100，但是应注意的是，在其它示例中可以存在多个数据源。

将来自第一级104的输出数据提供给下游级104，其进而将数据输出到下游级106和108。级106进一步将数据输出到下游级110。流操作器（由图1的示例中的P、A、B、D和C表示）的布置具有图结构拓扑，因为数据流动沿可以由图表示的路径从节点到节点地发生。在图结构拓扑中，每一个流操作器可以具有在相应处理节点中执行的多个物理实例。在图1的示例中，P操作器具有八个物理实例，A操作器具有六个物理实例，B操作器和C操作器均具有四个物理实例，并且D操作器具有两个物理实例。流操作器实例可以以分布式的方式将消息传递到彼此。除执行并行处理之外，分布式串流（streaming）分析系统还是弹性的，因为每一个流操作器的物理实例数目可以基于需求而变化。

在特定示例中，P操作器可以执行用于将来自数据源100的事件数据解析成元组的解析任务（以下进一步描述）。A操作器可以计算特定属性的聚合（例如平均），而B操作器可以在特定时间窗口之上计算移动平均。C操作器和D操作器可以提供其它操作。尽管提供了流操作器的特定示例，但是应注意的是，在其它实现方式中，可以使用不同的流操作器。而且，虽然图1的分布式流分析系统具有五级，但是不同的分布式流分析系统可以包括不同数目的级。

在之后的讨论中，对发布者操作器和订阅者操作器做出参考。发布者操作器是产生要被发送以供订阅数据的一个或多个订阅者操作器消费（consumption）的数据的流操作器。订阅者操作器是从另一流操作器接收数据的流操作器。在图1的示例中，在级102与104之间，级102中的处理节点包括发布者操作器，而级104中的处理节点包括订阅者操作器。类似地，在级104与106之间，级104中的处理节点包括发布者操作器，并且级106中的处理节点包括订阅者操作器。

此外，分布式流分析系统还可以包括协调器服务器112（或多个协调器服务器）。协调器服务器112负责向相应处理节点分发逻辑（诸如流操作器实例）。而且，协调器服务器112能够向处理节点指派附加任务。此外，协调器服务器112能够监视在处理节点上执行的作业（job），并且能够监视故障。