[发明专利]一种任务调度的方法、服务器和计算机可读存储介质

说明书

本发明实施例涉及互联网信息技术领域，公开了一种任务调度的方法、服务器和计算机可读存储介质。本发明中任务调度的方法，应用于调度服务端，包括：若检测到满足待处理任务的触发条件，则按照待处理任务被配置的指定集群，查找与指定集群对应的任务队列；将待处理任务分发至任务队列，供指定集群的调度代理根据指定集群的负载信息，抓取任务队列中的待处理任务并提到至指定集群，反馈指定集群处理待处理任务的处理结果；获取指定集群的调度代理返回的处理结果。本实施方式的任务调度的方法，使得可以合理协调调度指定集群处理待处理任务，提高任务调度的效率。

技术领域

本发明实施例涉及互联网信息技术领域，特别涉及一种任务调度的方法、服务器和计算机可读存储介质。

背景技术

大数据平台技术框架支持的开发语言多种多样，产生出很多不同类型的程序(任务)运行在大数据平台之上，任务类型可以是各编程语言如：MapReduce、Hive、Pig、Spark、Java、Shell、Python等。由于大数据平台上的任务或者任务流需要通过调度系统的定时调度触发。大数据平台通常由多套大数据计算集群构成，每个计算集群包括处理相同业务的多台服务器，每个计算集群对应一个调度系统，该调度系统用于管理该计算集群上传的任务。

发明人发现相关技术中至少存在如下问题：目前的每个计算集群对应一个调度系统，当一个任务需要多个集群共同处理时，由于该大数据平台上出现了多个计算集群的调度系统，导致无法统一协调调度任务，影响调度任务的效率。

发明内容

本发明实施方式的目的在于提供一种任务调度的方法、服务器和计算机可读存储介质，使得可以合理协调调度指定集群处理待处理任务，提高任务调度的效率。

为解决上述技术问题，本发明的实施方式提供了一种任务调度的方法，应用于调度服务端，包括：若检测到满足待处理任务的触发条件，则按照待处理任务被配置的指定集群，查找与指定集群对应的任务队列；将待处理任务分发至任务队列，供指定集群的调度代理根据指定集群的负载信息，抓取任务队列中的待处理任务并提到至指定集群，反馈指定集群处理待处理任务的处理结果；获取指定集群的调度代理返回的处理结果。

本发明的实施方式还提供了一种任务调度的方法，应用于调度代理，调度代理分别通信连接调度服务端和对应的指定集群，任务调度方法包括：根据指定集群的负载信息，抓取与指定集群对应的指定任务队列中的待处理任务；向指定集群提交待处理任务，供指定集群处理待处理任务，向调度代理返回处理结果；将接收的处理结果反馈至调度服务端。

本发明的实施方式还提供了一种任务调度的方法，应用于配置中心，配置中心分别与调度服务端和调度代理通信连接，调度服务端用于执行对应的任务调度的方法，调度代理用于执行对应的任务调度的方法，任务调度的方法包括：根据调度服务端发送的任务流的配置信息，查找配置信息对应的配置文件；向调度服务端反馈配置文件；根据调度代理发送的获取请求，获取请求包括：调度代理对应的指定集群的信息；根据指定集群信息，查找指定集群的运行环境信息并将运行环境信息返回调度代理。

本发明的实施方式还提供了一种服务器，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行与调度服务端对应的任务调度的方法，或者，执行与调度代理对应的任务调度的方法，或者，执行与配置中心对应的任务调度的方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现与调度服务端对应的任务调度的方法，或者，实现与调度代理对应的任务调度的方法，或者，实现与配置中心对应的任务调度的方法。