[发明专利]流式任务处理方法、装置及服务器

说明书

本发明实施例提供一种流式任务处理方法、装置及服务器。该方法包括：任务管理节点接收第一处理节点发送的第一任务执行请求,该第一任务执行请求包括该第一处理节点执行第一容器中的任务所需的第一时间；该任务管理节点将该第一容器中的任务发送给该第一处理节点，以使该第一处理节点在该第一时间内执行该任务；若在该第一时间内，该第一处理节点自身意外退出导致未能完成所述任务，则当该第一时间到期后，该任务管理节点接收第二处理节点发送的第二任务执行请求，该第二任务执行请求包括该第二处理节点执行该第一容器中的任务所需的第二时间。本发明实施例避免了任务由于一个处理节点处理失败而停止执行。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种流式任务处理方法、装置及服务器。

背景技术

在互联网业务中，存在着大量的数据处理需求。比如，日志的收集和处理，数据文件的构建和推送，项目的持续构建和发布等等。这些任务都是由特定的事件触发，然后进行连续多个阶段的处理。

现有技术中,流式任务可以由多个处理节点依次进行处理,但是,当某个处理节点在处理过程中出现错误时,将导致整个流式任务无法继续执行。

发明内容

本发明实施例提供一种流式任务处理方法、装置及服务器，以避免任务由于一个处理节点处理失败而停止执行。

第一方面，本发明实施例提供一种流式任务处理方法，包括：

任务管理节点接收第一处理节点发送的第一任务执行请求,所述第一任务执行请求包括所述第一处理节点执行第一容器中的任务所需的第一时间；

所述任务管理节点将所述第一容器中的任务发送给所述第一处理节点，以使所述第一处理节点在所述第一时间内执行所述任务；

若在所述第一时间内，所述第一处理节点自身意外退出导致未能完成所述任务，则当所述第一时间到期后，所述任务管理节点接收第二处理节点发送的第二任务执行请求，所述第二任务执行请求包括所述第二处理节点执行所述第一容器中的任务所需的第二时间。

第二方面，本发明实施例提供一种流式任务处理装置，包括：

接收模块，用于接收第一处理节点发送的第一任务执行请求,所述第一任务执行请求包括所述第一处理节点执行第一容器中的任务所需的第一时间；

发送模块，用于将所述第一容器中的任务发送给所述第一处理节点，以使所述第一处理节点在所述第一时间内执行所述任务；

所述接收模块还用于：当在所述第一时间内，所述第一处理节点自身意外退出导致未能完成所述任务时，在所述第一时间到期后，接收第二处理节点发送的第二任务执行请求，所述第二任务执行请求包括所述第二处理节点执行所述第一容器中的任务所需的第二时间。

第三方面，本发明实施例提供一种服务器，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现第一方面所述的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。

本发明实施例提供的流式任务处理方法、装置及服务器，通过任务管理节点接收第一处理节点发送的第一任务执行请求，并将该第一容器中的任务发送给该第一处理节点，以使该第一处理节点在该第一时间内执行该任务，当第一处理节点执行该任务失败后，该任务管理节点还可以接收第二处理节点发送的第二任务执行请求，以使第二处理节点继续执行该任务，从而避免该任务由于一个处理节点处理失败而停止执行。

附图说明