[发明专利]适用于流处理的异步优化方法、系统、装置和可读介质

说明书

本发明提供了一种适用于流处理的异步优化方法，包括如下步骤S1：根据预定义的计算图生成执行计划并启动计算流水线；步骤S2：从数据源读取数据流，根据预定义的算法派发处理器的待处理队列；步骤S3：根据预定义的算法对数据流进行转换操作，将转换后的计算结果发送至聚合器进行数据汇总；步骤S4：聚合数据并进行下阶段处理。本发明还提供了一种适用于流处理的异步优化系统、装置和可读介质。本发明通过在处理环节引入异步算法，减少了聚合环节阻塞时间来增加流水线的吞吐量提升计算效率。

技术领域

本发明涉及流处理技术领域，具体地，涉及一种适用于流处理的异步优化方法、系统、装置和可读介质。

背景技术

流处理是不断合并新数据以计算结果的动作。在流处理中，输入数据不受限制，并且没有预定的开始或结束。数据生产者将数据记录写入有序数据流，数据处理者需要从数据流中读取数据进行转换操作并将处理完的结果按输入顺序输出至消费者的数据流进行下一环节的处理。流处理由于其实时性和可扩展性在网络监控、风险管理、欺诈识别、算法交易等领域有着大量应用场景。

为了提升处理性能，流处理系统通常会设计成利用MapReduce算法进行并发处理。常见的流处理实现如图4所示，每个环节的处理逻辑如下：

(1)有序的无限数据流(R)依次进入派发器组件；

(2)派发器组件将数据(R)分发至多个处理器待处理队列等待处理；

(3)处理器组件从待处理队列中获取数据(R)进行预定义的转换操作生成处理结果(T)；

(4)处理器组件将转换后的结果(T)发送至聚合器组件进行聚合；

(5)聚合器组件收集多个处理器生成结果进行排序后按输入顺序将结果输出至下一环节。

由于对于每个环节而言，输入的数据顺序需要和输出的数据顺序保持一致，因此聚合器需要等待最早的数据达到后才能将数据发送给后续环节。在并发处理的情况下，每个数据被处理完成的时间是不确定的，因此可能会存在先进入处理环节的数据处理较慢导致阻塞整个处理流的情况。通常这类问题会通过增加聚合器的缓存大小来减轻，使等待过程中后续数据还能进入处理环节，但这种解决方案会收到内存大小限制。

经过检索，专利文献CN102970239B公开了一种流处理方法、流处理装置、路由器及流处理系统，包括：接收流的首数据包；为流分配第一标识，第一标识为流在本地转发设备中的本地标识；将首数据包及第一标识发到下游转发设备；接收下游转发设备返回的第二标识及第一标识，并绑定第一标识及第二标识，第二标识为流在下游转发设备中的本地标识，且与流在下游转发设备中的流表项相关联；接收后续数据包。该现有技术的不足之处在于需要根据第一标识及第二标识的绑定关系，将后续数据包及第二标识发送给下游转发设备，以使下游转发设备根据第二标识直接索引到流的流表项，并根据流表项对后续数据包进行处理，该现有技术比较复杂，并且耗时且长，储存第一标识和第二标识需要大量的内存空间。

因此，亟需研发设计一种能对流处理进行异步优化的方法和系统。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种适用于流处理的异步优化方法、系统、装置和可读介质，减少了异步处理场景的等待时间，增加了整体的吞吐率。

根据本发明提供的一种适用于流处理的异步优化方法，包括如下步骤：

步骤S1：根据预定义的计算图生成执行计划并启动计算流水线；

步骤S2：从数据源读取数据流，根据预定义的算法派发处理器的待处理队列；

步骤S3：根据预定义的算法对数据流进行转换操作，将转换后的计算结果发送至聚合器进行数据汇总；

步骤S4：聚合数据并进行下阶段处理。