[发明专利]一种分布式任务处理方法、装置及系统

说明书

本发明实施例提供了一种分布式任务处理方法、装置及系统，分布式集群系统中的调度节点接收可视化平台发送的任务消息；将任务消息下发至节点集群中的各个工作节点，以使各个工作节点解析任务消息后，根据任务消息中是否包含自身的节点标识，确定是否处理任务消息中的当前任务。由于任务消息中，包含根据用户操作获得的多个当前任务，和每个当前任务对应的当前工作节点的节点标识，因此调度节点在调度时，无需判断该任务消息应当下发至节点集群中的哪些工作节点，而是直接下发给所有工作节点，由各个工作节点自行解析任务消息，并确定是否处理该任务消息中的当前任务，从而提高了任务处理过程中的调度效率。

技术领域

本发明涉及分布式集群系统技术领域，特别是涉及一种分布式任务处理方法、装置及系统。

背景技术

随着计算机的普及和互联网的快速发展，传统的单机处理方式已无法满足大量的任务处理需求，而分布式集群系统具有强大的计算能力，因此得到了越来越广泛的应用。

分布式集群系统通常由调度节点和包含多个工作节点的节点集群组成。其中，调度节点与分布式集群系统之外的可视化平台通信连接，会为分布式的工作节点分配相应的待处理任务。该系统中，每个节点都表示一个服务器。具体的，可视化平台获取一个用户操作后，对该用户操作进行任务拆分，获得多个任务，针对每个任务生成一条任务消息，一条任务消息对应一个任务；然后，将生成的多条任务消息发送至图1所示分布式集群系统中的调度节点110，调度节点110对每条任务消息进行解析，并按照预先建立的任务与工作节点的映射关系，确定处理每条任务消息的工作节点的节点标识；最后，根据该节点标识将任务消息逐一下发至节点集群120中对应的工作节点，以进行任务消息的处理。

然而，由于可视化平台会生成多条任务消息，调度节点在逐一下发多条任务消息至对应的工作节点时，需要接收当前工作节点回传的数据，并将数据再回传至可视化平台后，才能下发下一条任务消息至下一工作节点，因此降低了任务处理中的调度效率。

发明内容

本发明实施例的目的在于提供一种分布式任务处理方法、装置、电子设备及系统，以提高分布式集群系统处理任务时的调度效率。具体技术方案如下：

第一方面，本发明实施例提供了一种分布式任务处理方法，应用于分布式集群系统中的调度节点；所述分布式集群系统还包括由多个工作节点组成的节点集群；所述分布式任务处理方法，包括：

接收可视化平台发送的任务消息；所述任务消息，是由可视化平台根据用户操作获得多个当前任务，并按照预设的任务与工作节点的映射关系确定各个当前任务对应的当前工作节点后，生成的一条任务消息；该任务消息中包含：所述多个当前任务及每个当前任务对应的当前工作节点的节点标识；

将所述任务消息下发至所述节点集群中的各个工作节点，以使各个工作节点对所述任务消息进行解析后，根据所述任务消息中是否包含自身的节点标识，确定是否处理该任务消息中的当前任务。

可选的，所述任务消息，包含消息头和消息体；

所述消息头，包含：校验信息；

在所述将所述任务消息下发至所述节点集群中的各个工作节点的步骤之前，还包括：

对接收的任务消息的消息头进行解析，根据所述校验信息，判断是否下发所述任务消息；如果是，则执行所述将所述任务消息下发至所述节点集群中的各个工作节点的步骤。

可选的，所述任务消息，为：超文本传输协议HTTP消息或超文本传输安全协议HTTPS消息。

所述校验信息，包括：所述任务消息的认证信息和所述任务消息中各个当前任务对应的统一资源标识符URI；

所述对接收的任务消息的消息头进行解析，根据所述校验信息，判断是否下发所述任务消息的步骤，包括：