[发明专利]利用微批处理管理快照和状态

权利要求书

1.一种用于管理从连续查询语言CQL引擎创建的快照的方法，所述方法包括：

由计算设备接收连续查询；

由计算设备对所述连续查询应用有向无环图DAG变换来生成所述连续查询的查询计划，其中所述查询计划是有序步骤集，所述有序步骤集用于访问数据以用于处理所述连续查询；

由计算设备对所述查询计划应用CQL变换来生成经变换的查询计划；

由计算设备接收与应用相关的输入事件的微批次流；

由计算设备使用CQL引擎处理输入事件，以生成与应用相关的输出事件集合，其中，所述处理输入事件包括：由所述CQL引擎至少部分地基于所述经变换的查询计划来针对所述连续查询对所述微批次流的输入事件中的每个输入事件执行增量计算，以及由所述CQL引擎针对所述微批次流的输入事件中的每个输入事件创建输出事件，其中所述输出事件集合包括针对所述微批次流的每个输入事件的输出事件；

由计算设备使用由CQL引擎实现的快照管理算法至少部分地基于与应用相关的输出事件集合来生成系统的当前状态的快照；

由计算设备生成第一目录结构，以访问与系统的当前状态的快照相关联的快照信息；

由计算设备生成第二目录结构，以生成与系统的当前状态相关联的快照列表；以及

由计算设备至少部分地基于快照管理算法来确定获取、添加或清理与系统的当前状态相关联的快照列表的处理。

2.如权利要求1所述的方法，其中微批次流是离散化成亚秒级微批次的连续数据流。

3.如权利要求1所述的方法，还包括由计算设备将与应用相关的输出事件集合存储在输出队列中；以及当已经处理完所有输入事件时，由计算设备发送输出队列中的输出事件。

4.如权利要求3所述的方法，其中微批次流包括弹性分布式数据集RDD或数据的微批次。

5.如权利要求4所述的方法，其中处理所述输入事件中的每个输入事件包括至少部分地基于经变换的查询计划对所述输入事件中的每个输入事件执行计算。

6.如权利要求5所述的方法，其中连续查询包括模式匹配。

7.一种系统，包括：

存储器，被配置为存储计算机可执行指令；以及

处理器，被配置为访问存储器并且执行计算机可执行指令，以：

接收连续查询；

对所述连续查询应用有向无环图DAG变换来生成所述连续查询的查询计划，其中所述查询计划是有序步骤集，所述有序步骤集用于访问数据以用于处理所述连续查询；

对所述查询计划应用连续查询语言CQL变换来生成经变换的查询计划，以使得CQL引擎能够使用所述经变换的查询计划来执行所述连续查询；

接收与应用相关的输入事件的微批次流；

使用CQL引擎处理输入事件，以生成与应用相关的输出事件集合，其中，所述处理输入事件包括：由所述CQL引擎至少部分地基于所述经变换的查询计划来针对所述连续查询对所述微批次流的输入事件中的每个输入事件执行增量计算，以及由所述CQL引擎针对所述微批次流的输入事件中的每个输入事件创建输出事件，其中所述输出事件集合包括针对所述微批次流的输入事件中的每个输入事件的输出事件；

使用由CQL引擎实现的快照管理算法至少部分地基于与应用相关的输出事件集合来生成系统的当前状态的快照；

生成第一目录结构，以访问与系统的当前状态的快照相关联的快照信息；

生成第二目录结构，以生成与系统的当前状态相关联的快照列表；以及

至少部分地基于快照管理算法确定获取、添加或清理与系统的当前状态相关联的快照列表的处理。

8.如权利要求7所述的系统，其中微批次流是离散化成亚秒级微批次的连续数据流。

9.如权利要求7所述的系统，其中所述计算机可执行指令进一步可执行以将与应用相关的输出事件集合存储在输出队列中；以及当已经处理完所有输入事件时，发送输出队列中的输出事件。