[发明专利]任务处理方法、装置、电子设备及存储介质

说明书

本申请涉及一种任务处理方法、装置、电子设备及存储介质，所述方法包括：利用第一监控节点监控预配置在第一集群中的第一处理节点的节点任务完成情况，当监控到第一处理节点的节点任务完成，且为接收到第二监控的节点发出的任务完成通知时，向第二监控节点发送任务完成通知，以使第二监控节点停止第二处理节点的节点任务，其中，第二监控节点用于监控预配置在第二集群中的第二处理节点的节点任务完成情况，所述第一处理节点和所述第二处理节点用于处理同一节点任务。避免了将工作流的所有处理节点部署在同一集群中时，若该集群发生宕机等情况，导致的工作流无法继续运行的后果。

技术领域

本申请涉及工作流技术领域，尤其涉及一种任务处理方法、装置、电子设备及存储介质。

背景技术

随着大数据应用的不断深入，对大数据进行处理的结果越来越成为公司在运营以及用户分析中不可或缺的依据，甚至在一定程度上会影响到公司的长期战略。

目前，在对数据进行某种方式(下称为目标处理方式)的处理时，需要依靠多个节点，每个节点都会承载各自的计算任务，数据在被这些节点承载的计算任务进行处理后，就会最终实现以该目标处理方式对数据的处理，而上述所有节点会构成一条工作流。一般，工作流中的节点往往会依靠一个集群来运行，若某个节点所依靠的集群发生异常时，比如宕机、集群计算资源拥挤、集群及其故障等，该节点就无法完成对数据的处理，进而该节点所在的工作流就无法正常运行，这就会导致无法完成对数据进行处理，也就无法得到数据处理的结果。

发明内容

为至少在一定程度上克服相关技术中存在的某个节点所依靠的集群发生异常时该节点就无法完成对数据的处理所导致的工作流无法正常运行得到最终数据处理的结果的问题，本申请提供一种任务处理方法、装置、电子设备及存储介质。

根据本申请的第一方面，提供一种任务处理方法，应用于第一监控节点，所述方法包括：

监控第一集群中的第一处理节点的节点任务完成情况；

当监控到所述第一处理节点的节点任务完成，且未接收到第二监控节点发出的任务完成通知时，向所述第二监控节点发送任务完成通知，所述任务完成通知用于指示所述第二监控节点停止第二处理节点的节点任务；

其中，所述第二监控节点用于监控第二集群中的所述第二处理节点的节点任务完成情况，所述第一处理节点和所述第二处理节点用于处理同一节点任务。

根据本申请的第二方面，提供一种任务处理方法，应用于工作流配置器，所述方法包括：

接收任务处理请求，所述任务处理请求用于请求对目标工作流进行高可用配置，所述目标工作流包括至少一个目标处理节点；

根据所述任务处理请求，对目标处理节点进行高可用配置处理，得到所述目标处理节点对应的高可用节点组，所述高可用节点组至少包括第一监控节点、第二监控节点、第一处理节点和第二处理节点；

将所述目标工作流中的所述目标处理节点替换成所述目标工作流对应的所述高可用节点组；

其中，所述目标处理节点为所述目标工作流中的至少一个处理节点；所述第一处理节点的节点任务、所述第二处理节点的节点任务均与对应的所述目标处理节点的节点任务相同，所述第一处理节点和所述第一监控节点运行在第一集群中，所述第二处理节点和所述第二监控节点运行在第二集群中；所述第一监控节点用于监控第一集群中的第一处理节点的节点任务完成情况；所述第二监控节点用于监控第二集群中的第二处理节点的节点任务完成情况。

根据本申请的第三方面，提供一种任务处理装置，所述装置包括：

监控模块，用于监控第一集群中的第一处理节点的节点任务完成情况；