[发明专利]流处理中数据阻塞的处理系统、方法、介质及设备

说明书

本发明提供了一种流处理中数据阻塞的处理系统、方法、介质及设备，包括：派发器模块：接收数据流并分发至处理器模块；处理器模块：根据预设计算逻辑对数据进行计算；聚合器模块：接收所有处理器的计算结果，根据数据进入派发器模块的时间顺序进行排序；监控器模块：监控所有的处理器模块的状态，对判定为异常的处理器模块进行异常恢复；状态管理模块：保存处理器模块的运行状态，将处理器模块的计算逻辑与数据状态进行分离，在处理器模块重建后对计算逻辑和数据状态进行恢复。本发明通过重启处理器模块的方式以最小的代价对系统进行异常恢复，仅丢弃导致阻塞的数据，极大减少了异常恢复的代价。

技术领域

本发明涉及数据处理技术领域，具体地，涉及一种流处理中数据阻塞的处理系统、方法、介质及设备。

背景技术

流处理是不断合并新数据以计算结果的动作。在流处理中，输入数据不受限制，并且没有预定的开始或结束。数据生产者将数据记录写入有序数据流，数据处理者需要从数据流中读取数据进行转换操作并将处理完的结果按输入顺序输出至消费者的数据流进行下一阶段的处理。流处理由于其实时性和可扩展至性在网络监控、风险管理、欺诈识别、算法交易等领域有着大量应用场景。

为了提升处理性能，流处理系统通常会设计成利用MapReduce算法进行并发处理。常见的流处理实现如图1所示：

1)有序的无限数据流依次进入派发器组件；

2)派发器组件将数据分支至多个处理器等待处理；

3)处理器组件从待处理队列中获取数据进行预定义的转换操作；

4)处理器组件将转换后的结果发送至聚合器组件；

5)聚合器组件收集多个处理器生成结果进行排序后按输入顺序将结果输出至消费者。

由于输入数据顺序需要和输出数据顺序保持一致，因此聚合器需要等待所有数据都到达后才能将结果数据发送至消费者。此时可能存在某个处理器组件发生异常或者输入了非法数据导致结果数据一直无法生成，这样就可能会阻塞整个流水线，引起整体系统异常停止。通常这类问题只能通过在开发阶段充分的测试或者对输入数据进行严格的校验来避免。但随着业务场景的复杂性越来越高，在开发阶段避免流水线阻塞的困难程度变得越来越高。

专利文献CN1553671A(申请号：CN03131801.0)公开了一种在反向复用过程中无阻塞传输用户数据的方法，包括发送处理步骤和接收处理步骤，其中所述发送处理步骤包括：根据VPI、VCI值提取用ICP信元承载的用户信元；根据组中链路数确定将一个信元拆分的段数，并承载到ICP信元中；发送所述ICP信元；所述接收处理步骤包括：提取所述ICP信元；从所述ICP信元中提取用户数据，对提取的用户数据进行过滤并保存；将过滤后的数据恢复成用户信元。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种流处理中数据阻塞的处理系统、方法、介质及设备。

根据本发明提供的流处理中数据阻塞的处理系统，包括：

派发器模块：接收数据流，采用轮询分发方式或根据特征值发放的方式将数据分发至处理器模块；

处理器模块：接收派发器提供的数据，根据预设计算逻辑进行计算并将计算结果发送至聚合器模块；

聚合器模块：接收所有处理器的计算结果，根据数据进入派发器模块的时间顺序进行排序；

监控器模块：监控所有的处理器模块的状态，定期查询处理器模块当前正在处理的任务，记录任务开始时间并和当前系统时间进行对比，若任务的处理时间超过预设阈值，则将对应处理器模块判定为异常，并进入阻塞恢复流程进行异常恢复；

状态管理模块：保存处理器模块的运行状态，将处理器模块的计算逻辑与数据状态进行分离，在处理器模块重建后对计算逻辑和数据状态进行恢复。