[发明专利]自动发布调度系统、方法和存储介质

说明书

本发明提供了一种自动发布调度系统、方法和存储介质，该系统包括元信息集群以及两个以上处理节点，每个处理节点将其自身的状态信息同步到元信息集群，并从中读取所有处理节点的状态信息，每个处理节点包括任务调度模块和任务处理模块，其中，第一处理节点的任务调度模块用于：根据每个待处理的子流程的配置需要以及所有处理节点的状态信息，查找适于处理所述待处理的子流程的第二处理节点；以及将所述待处理的子流程调度到所述第二处理节点；所述第二处理节点的任务处理模块用于对接收到的所述待处理的子流程进行处理。本发明采用去中心化架构，其中每个处理节点既是调度节点，也是执行节点，从而提高了系统的程序并行发布效率及容错能力。

技术领域

本发明涉及程序发布技术领域，更具体地涉及一种自动发布调度系统、方法和存储介质。

背景技术

程序发布通常包含多个步骤，例如触发器、编译、处理依赖资源、生成docker镜像、打包、生成编排等。对于每个程序来说，发布的整个过程都是可定制化的，通过简单编排，生成各个子流程之间的拓扑关系以及数据流关系。目前一般通过编排生成各个子流程之间的拓扑关系，支持完整流程的分布式处理。

然而，现在没有专用的自动发布调度系统，现有的系统不支持将每个子流程分配到不同的处理单元处理；不支持维护每个子流程的输出结果以在出现异常后提高重试效率；不支持根据配置约束以及系统运行状态去调度处理子流程；不具有通用性；不支持完全分布式。

发明内容

下面简要描述本发明提出的自动发布调度方案，更多细节将在后续结合附图在具体实施方式中加以描述。

根据本发明实施例的一方面，提供了一种自动发布调度系统，所述系统包括元信息集群以及两个以上的处理节点，每个所述处理节点将所述处理节点自身的状态信息同步到元信息集群，并从所述元信息集群读取所有处理节点的状态信息，每个所述处理节点包括任务调度模块和任务处理模块，其中，所述任务调度模块用于：第一处理节点的任务调度模块用于：获取构建任务、所述构建任务中的流程，或者所述流程中的子流程，并确定待处理的子流程；根据每个待处理的所述子流程的配置需要以及所有处理节点的所述状态信息，查找适于处理所述待处理的子流程的第二处理节点，所述第二处理节点与所述第一处理节点相同或不同；以及将所述待处理的子流程调度到所述第二处理节点；所述第二处理节点的任务处理模块用于对接收到的所述待处理的子流程进行处理。

在一个实施例中，所述第二处理节点的所述任务处理模块还用于：在处理结束之后，将处理结果返回给所述第一处理节点的所述任务调度模块。

在一个实施例中，所述第一处理节点的所述任务调度模块用于收集每个所述子流程的处理结果，并将所述处理结果保存到分布式存储系统；所述第二处理节点的所述任务处理模块从所述分布式存储系统获取前一个子流程的处理结果作为输入来处理所述待处理的子流程，或者，所述第一处理节点的任务调度模块从所述分布式存储系统获取前一个子流程的处理结果，并发送至所述第二处理节点，以用于由所述第二处理节点作为输入来处理所述待处理的子流程。

在一个实施例中，所述第一处理节点还用于：若一个流程的每个子流程都处理成功，则更新该流程的状态为阶段结束；若一个构建任务的所有流程都阶段结束，则更新该构建任务的状态为结束；以及若一个流程中存在子流程处理失败，则更新该流程的状态为阶段异常，同时标记失败的子流程状态为失败，记录失败日志，并从处理失败的所述子流程处开始进行重新调度。

在一个实施例中，每个所述任务处理模块包括至少一个处理单元，每个所述任务处理模块的不同处理节点并行处理不相关联的多个流程或不相关联的多个子流程。

在一个实施例中，所述状态信息包括所述处理节点的配置信息和所述处理节点的当前执行状态信息。

在一个实施例中，所述配置信息包括所述处理节点所支持的编译环境、每种编译环境对应的处理单元数量、可使用CPU数量、和/或可使用内存数量。