[发明专利]用于处理数据流信息的设备和方法

说明书

本发明涉及一种设备和方法，所述设备和方法均用于处理从数据流传输设备接收到的数据流的信息。所述设备的流数据分发实体确定所述数据流的数据部分组，并将每个数据部分组的所有数据部分中的每个数据部分分配给所述设备的处理实体集中的一个处理实体以待进一步处理。所述处理实体集中的每个处理实体在一个处理操作内处理一个数据部分组中的分配给所述处理实体的所有数据部分，并为所述数据部分组生成相应的部分结果。所述设备的最终处理实体在一个处理操作内处理由所述处理实体为所述数据部分组生成的所有部分结果，并为所述数据部分组生成最终结果。

技术领域

本发明涉及一种设备和方法，该设备和方法均用于处理从数据流传输设备接收到的数据流的信息。此外，本发明涉及一种相应布置的计算机程序产品和一种相应布置的计算机可读介质。

背景技术

随着通过通信网络交换数据的设备不断增多，从一个设备传输到另一设备的数据流的处理变得愈加重要。由于数据流传输产生的数据量不断增加，因此需要快速处理数据流的信息或数据。

术语“流”或“数据流”是指数据部分的序列，这些数据部分也称为事件。数据部分或事件包括由传感器、机器或人类等不同流源生成的各类数据。在流或数据流中，按时间顺序提供数据部分或事件。流处理包括对流中的数据部分或事件执行数据处理过程或函数。

执行流处理或数据流信息处理的一种常见方法是在给定时间收集一定边界内的数据部分或事件，并将这些作为一个集合，相应的过程或函数将会应用到该集合。这样的临时集合称为窗口。

流处理引擎提供即时，即当数据部分(也称为事件)进入系统时，处理这些数据部分或事件的工具。在数据采集技术方面，流处理引擎能够支持来自流源的实时到达的数据，也能够加载先前存储在存储介质中的数据。数据通常称为事件，表示可能有不同逻辑含义的不同数据的聚合。这一数据在系统中按一定顺序生成和接收，最常见的是按时间顺序。因此，每个事件或数据部分都关联一个时间符号或至少序列顺序。通常，处理可按固定的时间间隔(例如，基于与事件关联的时间符号，或基于机器时间，或在事件到达时)触发。

通过对数据流的数据使用流引擎来应用的大部分数据或信息处理函数，在任意给定时刻都需要数据部分或事件的一个子集。即，将数据或信息处理函数应用于一个窗口上，窗口为时间方面或事件的逻辑顺序方面的包含给定边界的事件的定界。因此，窗口包括在特定时间段内发送或接收的数据流的数据部分或事件的子序列或数据流的数据部分或事件的集合。这些窗口的内容随事件流的逻辑时间的演化而变化(即，增加新的数据部分或事件，旧的数据部分或事件落到窗口的边界之外且被移除)。这些更新需要即时反映在窗口中以保证正确性，因为每个数据部分或事件的窗口上都可能触发计算。

主要问题在于，现有的流技术不提供在大型窗口上以很低的时延运行的默认方案。这将意味着能够在跨越一组分布式计算单元(实际上也可以是窗口)的单个窗口上实现相同的计算可能性。这代表一项挑战，因为这需要在所有的分布式单元上实现相同的时间演化(即，一次更新将会被应用到所有的分布式分区上且将具有相同的时间参考)。另外，需要聚合在分布式分区上计算出的部分结果，即便这些结果以高速率产生，且因为运行的目标时间粒度低以及机器间的时间不同步而无序到达。

因此，需要其它能够快速高效地处理数据流的方法论或方法。另外，应提供上述数据流处理，使得处理的效率和准确性不依赖于窗口的大小。此外，需要高效准确地处理甚至来自不同流源的至少两个数据流的数据部分或事件。

发明内容

因此，本发明的目的在于提供一种能够改进数据流处理的方法和设备。

本发明的目的通过所附独立权利要求中提供的方案实现。本发明的有利实施方式在本说明书的相应从属权利要求和/或附图中进一步限定。