[发明专利]一种跨平台的任务调度方法和装置

说明书

技术领域

本发明属于互联网领域，尤其涉及一种跨平台的任务调度方法和装置。

背景技术

随着科技的发展以及互联网用户的增加，互联网的数据量发生了爆炸式的增长。为了有效的对大数据进行运算和存储，出现了许多与大数据相关的应用程序。比如通过Hadoop技术实现分布式文件系统(英文全称为Hadoop Distributed File System，英文简称为HDFS)。HDFS有高容错性的特点，其设计可用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了POSIX(中文全称为可移植操作系统接口，英文全称为Portable Operating System Interface)的要求，可以以流的形式访问分布式文件系统中的数据。

在运行大数据应用时，常常需要调用多种任务，并且多种任务可能是由不同的平台进行调度。比如，hadoop任务和datastage任务是通过不同的工具在不同的工作平台进行调度，操作较为麻烦，而且在通过不同平台进行任务调度时，无法完成对各个平台的任务有序调用，任务调度效率较低。

发明内容

本发明的目的在于提供一种跨平台的任务调度方法，以解决现有技术通过不同平台进行任务调度时，无法对各个平台的任务进行有序的调度，任务调度效率低的问题。

第一方面，本发明实施例提供了一种跨平台的任务调度方法，其特征在于，所述方法包括：

通过同一个平台获取任务调度的请求，所述任务调度的请求包括需要调度的任务；

获取所述需要调度的任务对应的属性信息，根据所述任务的属性信息生成所述任务对应的任务调度指令，根据所述任务之间的数据的依赖关系，生成任务序列；

根据所述任务序列中的任务的先后顺序，依次执行所述任务对应的任务调度指令。

结合第一方面，在第一方面的第一种可能实现方式中，所述根据所述任务的属性信息生成所述任务对应的任务调度指令步骤具体包括：

所述任务的属性信息包括任务的类型、调度的服务器信息、源数据库信息和目标数据库信息、调度的数据信息，根据所述属性信息，生成由所述调度的服务，从源数据库将所述调度的数据信息调度至目标数据库的、与所述任务的类型对应的任务调度指令。

结合第一方面,或第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，所述根据所述任务序列中的任务的先后顺序，依次执行所述任务对应的任务调度指令步骤包括：

监测当前执行的任务调度指令的进度信息；

当监测到任务调度指令执行完毕时，执行所述任务序列中的下一任务对应的任务调度指令。

结合第一方面,或第一方面的第一种可能实现方式，在第一方面的第三种可能实现方式中，所述方法还包括：

当所述任务序列中包括多个任务同时执行时，获取所述多个任务对应的优先级，所述任务的优先级的影响因素包括所述任务的执行时间长度、任务结果在后续任务中需要的先后；

根据所述优先级进行排序，对优先级较高的任务分配较多系统资源。

结合第一方面,或第一方面的第一种可能实现方式，在第一方面的第四种可能实现方式中，所述方法还包括：

根据所述顺序序列生成对应的任务执行的流程图表；

获取当前执行的任务调度指令对应的状态数据，在所述流程图表上显示所述状态数据对应的标识。

第二方面，本发明实施例提供了一种跨平台的任务调度装置，所述装置包括：

请求获取单元，用于通过同一个平台获取任务调度的请求，所述任务调度的请求包括需要调度的任务；

指令和序列生成单元，用于获取所述需要调度的任务对应的属性信息，根据所述任务的属性信息生成所述任务对应的任务调度指令，根据所述任务之间的数据的依赖关系，生成任务序列；

调度单元，用于根据所述任务序列中的任务的先后顺序，依次执行所述任务对应的任务调度指令。

结合第二方面，在第二方面的第一种可能实现方式中，所述任务的属性信息包括任务的类型、调度的服务器信息、源数据库信息和目标数据库信息、调度的数据信息，所述指令和序列生成单元具体用于：

根据所述属性信息，生成由所述调度的服务，从源数据库将所述调度的数据信息调度至目标数据库的、与所述任务的类型对应的任务调度指令。

结合第二方面,或第二方面的第一种可能实现方式，在第二方面的第二种可能实现方式中，所述调度单元包括：