[发明专利]流式计算方法、装置、设备以及存储介质

权利要求书

1.一种流式计算方法，其特征在于，所述方法包括：

为待处理的目标流式计算任务开启至少一个工作进程；

控制所述至少一个工作进程在zookeeper分布式应用程序协调服务上进行竞争，抢注所述目标流式计算任务的领导节点，抢注成功的工作进程成为领导节点，并在zookeeper建立领导管理目录；

控制包括所述领导进程在内的所有工作进程在所述领导管理目录上注册成为所述目标流式计算任务的工人节点；

领导节点负责在zookeeper初始化所述目标流式计算任务的延时队列初始根目录，所有工人节点在根目录下创建各自节点对应的延时队列，在所述领导管理目录记录各自管理的延时队列信息；

工人节点启动延时处理线程池，为后续的延时任务做准备；

每个工人节点在流式计算过程中，若检测到进行实时关联计算失败的数据，则判断该数据是否需要进行延时处理；若需要进行延时处理，则将该数据的信息注册到该数据关联的工人节点的延时队列；

延时处理线程根据配置的时间周期，定时从延时队列中依次获取数据信息并进行检查，确认数据是否能处理成功；若数据能够处理成功，则处理数据并从延时队列中删除该数据节点，否则等待下一个周期的处理。

2.根据权利要求1所述的方法，其特征在于，所述控制包括所述领导进程在内的所有工作进程在所述领导管理目录上注册成为所述目标流式计算任务的工人节点之后，所述方法还包括：

工人节点监控领导节点在zookeeper注册的临时节点的生存状态；

若监控到领导节点下线，则重新竞争领导节点的选举。

3.根据权利要求1所述的方法，其特征在于，所述控制包括所述领导进程在内的所有工作进程在所述领导管理目录上注册成为所述目标流式计算任务的工人节点之后，所述方法还包括：

领导节点定期检查所有延时队列是否由工人节点负责管理；

若检测到目标延时队列没有工人节点处理，则继续检查所述目标延时队列是否为空；

若所述目标延时队列为空，则清理该延时队列；否则，根据当前工人节点的负载情况，选择接管的工人节点，并向该工人节点发送接管指令；

该工人节点根据本节点的负载处理信息确定是否接管所述目标延时队列。

4.根据权利要求3所述的方法，其特征在于，所述该工人节点根据本节点的负载处理信息确定是否接管所述目标延时队列之后，所述方法还包括：

若接管，则该工人节点向所述领导管理目录注册所述目标延时队列的接管信息，并继续处理所述目标延时队列的遗留实时数据；

其中所述目标延时队列不再写入新数据，直到所述目标延时队列数据全部处理完毕；

在所述目标延时队列数据全部处理完毕后，工人节点向所述领导节点发送指令，以指示所述领导节点删除所述目标延时队列。

5.根据权利要求3所述的方法，其特征在于，所述接管工人节点根据本节点的负载处理信息确定是否接管所述目标延时队列之后，所述方法还包括：

若无工人节点接管所述目标延时队列，则所述领导节点定期返回执行所述根据当前工人节点的负载情况，选择接管工人节点，并向所述接管工人节点发送接管指令的操作，直到所述目标延时队列有工人节点接管。

6.根据权利要求1所述的方法，其特征在于，所述控制包括所述领导进程在内的所有工作进程在所述领导管理目录上注册成为所述目标流式计算任务的工人节点之后，所述方法还包括：

领导节点检查各个延时队列的最后修改时间，若该队列的最后修改时间已经超过配置的时间阈值，则检查该队列是否有工人节点接管；

若无工人节点管理，则领导节点清理该队列；

若有工人节点管理，则领导节点发布对该队列的清理请求，与该队列关联的工人节点接受请求并负责检查该队列是否需要清理；

若需要清理，则清理该队列，清理完毕后，若确定该队列无需存在，则删除该队列；

若不需要清理，则更新该队列的修改时间，并告知所述领导节点清理完毕；

领导节点在接受到清理完毕的请求后，结束清理任务。