[发明专利]利用微批处理管理快照和状态

说明书

公开了一种用于处理事件流中的事件的事件处理系统。该系统可以执行指令以：接收输入事件的微批次流，使用CQL引擎来处理输入事件以生成输出事件集合，使用由CQL引擎实现的快照管理算法至少部分地基于与应用相关的输出事件集合生成系统的当前状态的快照，生成第一目录结构以访问与系统的当前状态的快照相关联的快照信息，生成第二目录结构以生成与系统的当前状态相关联的快照列表，以及至少部分地基于快照管理算法来确定获取、添加或清理与系统的当前状态相关联的快照列表的处理。

对相关申请的交叉引用

本申请要求于2016年9月15日提交的标题为“MANAGING SNAPSHOTS AND STATEWITH MICRO-BATCHING”的印度临时申请No.201641031479的优先权和权益，该印度临时申请的全部内容通过引用并入本文，用于所有目的。

背景技术

在传统的数据库系统中，数据通常以表的形式存储在一个或多个数据库中。然后使用诸如结构化查询语言(SQL)之类的数据管理语言来查询和操纵所存储的数据。例如，可以定义并执行SQL查询，以从存储在数据库中的数据中识别相关数据。因此，SQL查询是对存储在数据库中的有限数据集执行的。另外，当执行SQL查询时，它在有限数据集上执行一次并且产生有限静态结果。因此，数据库最佳地被配备为在有限存储数据集上运行查询。

但是，多个现代应用和系统以连续数据或事件流而不是有限数据集的形式生成数据。此类应用的示例包括但不限于传感器数据应用、金融报价机、网络性能测量工具(例如，网络监视和流量管理应用)、点击流分析工具、汽车交通监视等。这些应用引起了对可以处理数据流的新型应用的需求。例如，温度传感器可以被配置为发出温度读数。

管理和处理用于这些类型的基于事件流的应用的数据涉及构建具有强时间焦点的数据管理和查询能力。需要不同类型的查询机制，该查询机制包括对连续无界数据集的长时间运行的查询。虽然一些供应商现在提供面向事件流处理的产品套件，但是这些产品提供物(offering)仍然缺乏处理当今事件处理需求所需的处理灵活性。

发明内容

提供了用于处理事件流的事件的技术(例如，方法、系统、存储可由一个或多个处理器执行的代码或指令的非瞬态计算机可读介质)。在实施例中，公开了一种事件处理系统。一个或多个计算机的系统可以被配置为凭借在系统上安装在操作时使系统执行动作的软件、固件、硬件或它们的组合来执行特定的操作或动作。一个或多个计算机程序可以被配置为凭借包括当由数据处理装置执行时使装置执行动作的指令来执行特定的操作或动作。一个一般方面包括一种用于管理从连续查询语言(CQL)引擎创建的快照的方法，包括：由计算设备接收与应用相关的输入事件的微批次流。该方法还包括由计算设备使用CQL引擎处理输入事件以生成与应用相关的输出事件集合。该方法还包括由计算设备使用由CQL引擎实现的快照管理算法至少部分地基于与应用相关的输出事件集合来生成系统的当前状态的快照。该方法还包括由计算设备生成第一目录结构，以访问与系统的当前状态的快照相关联的快照信息。该方法还包括由计算设备生成第二目录结构，以生成与系统的当前状态相关联的快照列表。该方法还包括由计算设备至少部分地基于快照管理算法来确定获取、添加或清理与系统的当前状态相关联的快照列表的处理。这个方面的其它实施例包括各自被配置为执行方法的动作的对应计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序。

实施方式可以包括以下特征中的一个或多个。该方法其中微批次流是离散化成亚秒级微批次的连续数据流。该方法其中处理输入事件包括至少部分地基于经变换的查询计划来处理输入事件。该方法还包括由计算设备将与应用相关的输出事件集合存储在输出队列中；以及当处理完所有输入事件时，由计算设备发送输出队列中的输出事件。该方法其中微批次流包括弹性分布式数据集(RDD)或数据的微批次。该方法其中处理每个输入事件包括至少部分地基于经变换的查询计划对每个输入执行计算。该方法还包括由计算设备接收连续查询，对连续查询应用变换以生成用于连续查询的查询计划，以及使用变换算法变换查询计划以生成经变换的查询计划，其中连续查询包括模式匹配。所描述的技术的实现可以包括硬件、方法或处理或计算机可访问介质上的计算机软件。