[发明专利]一种支持作业依赖关系的定时作业调度方法及系统

说明书

本发明涉及一种支持作业依赖关系的定时作业调度方法，包括以下步骤：S1.调度器从存储单元中加载作业相关数据，包括作业信息列表和作业依赖关系；S2.调度器根据作业依赖关系将作业信息列表转化为作业有向无环图；S3.调度器将作业有向无环图作为副本生成任务有向无环图；S4.调度器对任务有向无环图中节点入度为非0的任务进行依赖调度；S5.调度器根据任务触发时间对任务有向无环图中节点入度为0的任务进行定时调度；S6.执行单元执行上述任务后，向调度器反馈相关的执行结果。

技术领域

本发明涉及计算机技术领域，更具体地，涉及一种支持作业依赖关系的定时作业调度方法及系统。

背景技术

近年来，随着互联网、大数据存储、分布式计算的快速发展，计算规模的日益扩大成了很多互联网行业的严峻挑战和宝贵机遇，大数据的涌现更是深深改变了人们的生活和工作方式。利用合理高效的计算模式，摆脱网络中各种计算资源在地域和结构的限制，充分利用计算资源，是互联网企业实际而又迫切的需求。于是，调度器的设计和开发成为国内外大型互联网公司研究实践的热点技术。

现有的离线计算技术主要解决的是定时调度、分布式调度等问题。在实际应用场景中，作业之间往往存在依赖关系，即一个作业的输入需要依赖其他作业的输出，同时作业也需要在指定时间指定机器运行。

因此，需要一种高效、可靠的调度方法，同时实现作业依赖关系调度和作业定时调度。

发明内容

本发明提出了一种能够支持作业依赖关系的定时作业调度方法，解决了作业之间存在依赖关系的问题，也解决了作业在指定时间进行调度执行的问题。该方法可靠性好、效率高、系统实现简单。

为实现以上发明目的，采用的技术方案是：

一种支持作业依赖关系的定时作业调度方法，包括以下步骤：

S1.调度器从存储单元中加载作业相关数据，包括作业信息列表和作业依赖关系；

S2.调度器根据作业依赖关系将作业信息列表转化为作业有向无环图；

S3.调度器将作业有向无环图作为副本生成任务有向无环图；

S4.调度器对任务有向无环图中节点入度为非0的任务进行依赖调度；

S5.调度器根据任务触发时间对任务有向无环图中节点入度为0的任务进行定时调度；

S6.执行单元执行上述任务后，向调度器反馈相关的执行结果。

优选地，所述步骤S2转化为作业有向无环图的具体过程如下：

S11.根据作业依赖关系，将作业列表转化为作业图结构，其中作业图结构中的每个节点代表了对应的作业信息；

S12.判断作业图结构是否存在环，如果存在，则继续执行步骤S13，否则转移到步骤S14；

S13：获取作业图结构中环所在的子连通图，移除该子连通图，使作业图结构是合法的，同时报警提示作业依赖关系异常；

S14：获取合法的作业有向无环图。

优选地，所述步骤S11将作业列表转化为作业图结构的具体过程如下：

S111.构建空的哈希映射数据结构，其中映射的键表示一个作业，映射的值表示依赖作业的集合；

S112.遍历所有的作业，将其添加到哈希映射数据结构中；

S113.遍历所有的作业依赖关系，对任一依赖关系(x:y)，表示作业y在作业x之后调度，将作业y添加到作业x对应的依赖作业集合中，此时哈希映射数据结构表示为作业图结构。