[发明专利]用于分析对数据流的连续查询的分析系统和方法

说明书

技术领域

本发明涉及一种用于分析对数据流的连续查询的分析系统和方法。

背景技术

现代计算机系统时常对流数据进行操作，即对传感器捕获的数据项(也称为事件)的连续序列进行操作，其中在另外的数据项仍被传感器捕获的同时，已接收到的数据项被处理。典型的应用场景是安全系统，例如设施监视系统，其中处理读卡器捕获的数据项的流以便标识对设施内的机密区域的未授权访问或者进入和离开建筑物的人的其它异常行为。数据流内的数据项通常由某些属性来描绘并且可能具有简单或复杂的结构。事件属性的示例是当人员通过读卡器拔出他的ID卡时人员的ID、姓名和性别，事件的时间戳或当前的工作日。

为了处理这些概念上无限的数据项/事件的流，已知的是处理对这些输入的数据流的查询以将事件流分为有限的可处理部分，已知为窗口，并且对这些窗口应用计算，以生成从对计算结果的串接得到的另一可能无限的输出事件流。窗口规范通常包括开始条件和结束条件，以使得窗口(即给定流中的具体事件子序列)各自包括在匹配开始条件的开始事件和匹配结束条件的结束事件之间的所有连续事件。因为通常相同的查询应用于连续的事件流，术语“连续查询”常常在现有技术中使用。

虽然对与单个数据项/事件有关的异常行为的检测相当直截了当(例如，当读卡器读卡时判定一个人的ID卡已经过期)，但是多数真实生活情形需要检测和处理与流内的多个数据项有关的更复杂情况(例如，有人进入某一房间，但是在预定量时间之后未离开该房间)。该处理范例通常被称为复杂事件处理(CEP)。

在这种复杂事件处理场景中，期望提供对给定连续查询进行分析/调试的手段，即评估查询的行为是否符合预期。否则，查询可能产生误报警，或者更重要地，错过指示异常行为的某些重要事件。在该情况下，例如以下这样的问题是重要的：为什么生成了某个输出事件？为什么某个期望的输出事件没有发生？给出查询的某个修改时输出事件流将如何变化？结果有多稳定(即查询结果(即输出流)对输入事件流中开始评估的位置有多敏感)？

在现有技术中，为对无限数据流的连续查询提供基本调试功能的产品是已知的。所提供的功能通常受传统的程序调试启发。在用于计算机程序的传统调试方法中，已知在程序代码内的某些指令上定义断点，以使得当到达断点时程序执行停止。然后，可以检查代码和它的变量的当前值以便评估代码是否如期望的那样起作用。然而，调试/分析连续的查询正在改变尺寸，因为对给定连续查询的执行不会如在传统程序调试中一样在某个程序指令代码处停止。相反，在连续的查询处理中，查询执行停止在某数据处(即无限的事件输入流内部的某处)。因此，在连续查询处理中，断点必须对数据流而不是对指令流操作。因此，在通常的现有技术的用于复杂事件处理的产品中，断点因而可被设置在连续查询的运算符图中的两个运算符之间，如果数据流经该路径，这将使得查询停止。在某些产品中，这些断点可以带有在执行停止前必须被满足的条件。在这种断点上，可以检查流(即等待被处理的全部流，并且可能还有已经被处理的事件)。

根据现有技术已知的系统之一是Aleri(参照http://www.aleri.com/)，其提供了用于记录和重放连续的数据流的方法。更具体地说，记录的数据流可以以变化的速率，例如以加速、减速、或固定速率的重放来重放。根据现有技术已知的另一系统是StreamBase Visual Debugger(参照http://www.streambase.com/products-StreamBaseServer.htm)，其允许通过连续查询跟踪每个事件的完整历史(例如运算符中的中间状态)。将系统切换到调试模式是使用这些功能的前提。StreamBase还提供了运行模拟事件流的方法。

结果，已知系统允许关于给定特定输入数据流和连续查询为什么生成某个输出事件得到结论(通过设置断点和一旦在调试期间到达断点检查输出事件的历史)。