[发明专利]分布式任务的部署方法、装置、计算机设备和存储介质

说明书

本申请公开了一种分布式任务的部署方法、部署装置、计算机设备和计算机可读存储介质。部署方法包括步骤：接收调度任务并根据调度任务生成调动请求以启动调度程序，调度任务包括多个依次关联的子任务，接收调度程序的执行请求并根据执行请求启动第一执行程序以执行子任务中的第一子任务，根据第一执行程序的执行结果和执行请求启动第二执行程序以执行子任务中的第二子任务，第一子任务是第二子任务的前置关联子任务。如此，对于相互依赖的子任务的执行由一个调度程序实现，避免了频繁启动调度程序，使得任务的管理更加清晰。

技术领域

本申请涉及计算机技术，特别涉及一种分布式任务的部署方法、部署装置、计算机设备和计算机可读存储介质。

背景技术

相关技术中，spark的分布式计算任务可部署于Kubernetes(k8s)，以解决多台服务器资源的管理和分配的问题。

然而，由于同一个业务相关的spark的分布式计算任务，一般分成多个子任务，而每一个子任务都需要重新启动一个新的Driver Pod以开启executor Pod，导致Master节点需要频繁启动Driver Pod。

发明内容

本申请提供了一种分布式任务的部署方法，所述部署方法包括：

接收调度任务并根据所述调度任务生成调动请求以启动调度程序(driver pod)，所述调度任务包括多个依次关联的子任务；

接收所述调度程序的执行请求并根据所述执行请求启动第一执行程序(executorpod)以执行所述子任务中的第一子任务；和

根据所述第一执行程序的执行结果和所述执行请求启动第二执行程序以执行所述子任务中的第二子任务，所述第一子任务是所述第二子任务的前置关联子任务。

在某些实施方式中，所述根据所述第一执行程序的执行结果和所述执行请求启动第二执行程序以执行所述子任务中的第二子任务包括：

从HDFS上获取所述第一执行程序(executor pod)的执行结果，并根据所述第一执行程序的执行结果执行第二执行程序。

在某些实施方式中，所述部署方法还包括：

监测所述第一执行程序的运行状态，以判断第一执行程序是否需要重启。

在某些实施方式中，所述部署方法还包括：

判断所述执行结果是否生成；

若所述执行结果未生成，重新启动所述第一执行程序以再次执行所述第一子任务；

在所述执行结果生成时校验结果文件是否正确。

在某些实施方式中，所述第一执行程序以及所述第二执行程序分别在多个子节点执行。

在某些实施方式中，所述调度程序包括应用程序接口，所述部署方法包括；

在所述第一执行程序和所述第二执行程序执行所述子任务时生成日志，

通过所述应用程序接口获取所述日志并以使所述调度程序对所述日志进行归集处理。

在某些实施方式中，所述部署方法还包括：

在所述子任务执行完后，删除所述第一执行程序和所述第二执行程序。

本申请还提供了一种分布式任务的部署装置，所述部署装置包括主节点和多个子节点，所述子节点连接所述主节点；

其中，所述子节点用于运行调度程序、第一执行程序和第二执行程序。

所述主节点用于：

接收调度任务并根据所述调度任务生成调动请求以启动调度程序，所述调度任务包括多个依次关联的子任务；