[发明专利]流处理中数据阻塞的处理系统、方法、介质及设备

权利要求书

1.一种流处理中数据阻塞的处理系统，其特征在于，包括：

派发器模块：接收数据流，采用轮询分发方式或根据特征值发放的方式将数据分发至处理器模块；

处理器模块：接收派发器提供的数据，根据预设计算逻辑进行计算并将计算结果发送至聚合器模块；

聚合器模块：接收所有处理器的计算结果，根据数据进入派发器模块的时间顺序进行排序；

监控器模块：监控所有的处理器模块的状态，定期查询处理器模块当前正在处理的任务，记录任务开始时间并和当前系统时间进行对比，若任务的处理时间超过预设阈值，则将对应处理器模块判定为异常，并进入阻塞恢复流程进行异常恢复；

状态管理模块：保存处理器模块的运行状态，将处理器模块的计算逻辑与数据状态进行分离，在处理器模块重建后对计算逻辑和数据状态进行恢复。

2.一种流处理中数据阻塞的处理方法，其特征在于，采用权利要求1所述的流处理中数据阻塞的处理系统，包括如下步骤：

步骤1：在系统启动时启动监控器模块，根据预设时间间隔查询所有处理器模块状态并检测是否存在阻塞的处理器模块；

步骤2：查询每个处理器正在处理的任务ID并记录；

步骤3：判断当前的任务ID与上一次查询到的任务ID是否发生变化；

步骤4：判断处理器模块是否异常；

步骤5：对异常处理器模块进行异常恢复。

3.根据权利要求2所述的流处理中数据阻塞的处理方法，其特征在于，所述步骤3包括：若任务ID发生变化，则更新监控器模块中记录的该处理器模块当前正在处理的任务ID并记录任务的起始事件；

若任务ID与上一次查询得到的任务ID一致，则获取该任务ID的起始时间，计算该任务的起始时间与当前系统时间的差值，并作为该任务的处理时间。

4.根据权利要求3所述的流处理中数据阻塞的处理方法，其特征在于，所述步骤4包括：若处理时间大于或等于预设阈值，则将对应处理器模块判定为异常；否则监控器模块进入睡眠等待下一次被唤醒。

5.根据权利要求2所述的流处理中数据阻塞的处理方法，其特征在于，所述步骤5包括：步骤5.1，在判定处理器模块为异常时，停止该处理器模块的运行，避免新的数据流进入该处理器进行处理，同时将输入数据流调度到其他处理器模块进行处理。

6.根据权利要求5所述的流处理中数据阻塞的处理方法，其特征在于，所述步骤5包括：步骤5.2，构建引发超时的任务的空数据，并发送至聚合器模块，在处理器模块异常恢复后，保证输入的数据顺序和输出的数据顺序一致。

7.根据权利要求6所述的流处理中数据阻塞的处理方法，其特征在于，所述步骤5包括：步骤5.3，根据预设计算逻辑重新创建处理器模块，处理器模块创建后在被停止的处理器模块中获取状态管模块并加载，用于恢复停止前的计算逻辑和数据状态。

8.根据权利要求7所述的流处理中数据阻塞的处理方法，其特征在于，所述步骤5包括：步骤5.4，将处理器模块和派发器模块进行绑定并启动处理器模块，将重新创建的处理器模块替换已经停止的异常处理器模块，然后启动新建的处理器模块恢复对数据流处理。

9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求2至8中任一项所述的方法的步骤。

10.一种流处理中数据阻塞的处理设备，其特征在于，包括：控制器；

所述控制器包括权利要求9所述的存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现权利要求2至8中任一项所述的流处理中数据阻塞的处理方法的步骤；或者，所述控制器包括权利要求1所述的流处理中数据阻塞的处理系统。