[发明专利]作业调度方法、装置和系统

说明书

本公开提供了一种作业调度方法、装置和系统。该作业调度方法包括：获取待执行的多个作业实例，每个待执行的作业实例具有执行信息和关联信息；根据待执行的多个作业实例的关联信息，确定待执行的多个作业实例中是否包括与当前执行的作业实例具有关联关系的作业实例；在待执行的多个作业实例中包括与当前执行的作业实例具有关联关系的作业实例的情况下，根据执行信息，确定具有关联关系的作业实例中，与当前执行的作业实例不冲突的至少一个作业实例；以及根据调度规则，将与当前执行的作业实例不具有关联关系的作业实例及确定的至少一个作业实例分配给至少两个执行节点，以供至少两个执行节点并行地执行分配得到的作业实例。

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种作业调度方法、装置和系统。

背景技术

随着移动互联网技术的发展，各企业的数据量呈指数式增长，而如何利用海量数据资源成为各企业提高核心竞争力的关键。在大数据技术的实际应用中，比如数据仓库建立、数据挖掘和分析等，都需要运行大量的作业来完成对数据的采集、清洗、加工运算及推送。为了确保作业能够有序和高效的执行，需要一个作业调度系统来管理、触发、执行这些作业。

在实现本公开构思的过程中，发明人发现现有技术中至少存在如下问题：现有的作业调度系统虽然能够解决作业的触发执行和依赖关系等基本功能，但是随着数据仓库规模不断变大，作业数据量激增，在作业执行效率方面逐渐无法满足需求，例如作业并行度低，能够并行的作业以串行方式执行，作业吞吐量小等，从而存在浪费系统软硬件资源及不能及时产出重要数据的缺陷。

发明内容

有鉴于此，本公开提供了一种能够提高作业并行度的作业调度方法、装置和系统。

本公开的一个方面提供了一种作业调度方法，包括：获取待执行的多个作业实例，每个待执行的作业实例具有执行信息和关联信息；根据待执行的多个作业实例的关联信息，确定待执行的多个作业实例中是否包括与当前执行的作业实例具有关联关系的作业实例；在待执行的多个作业实例中包括与当前执行的作业实例具有关联关系的作业实例的情况下，根据执行信息，确定具有关联关系的作业实例中，与当前执行的作业实例不冲突的至少一个作业实例；以及根据调度规则，将与当前执行的作业实例不具有关联关系的作业实例及确定的至少一个作业实例分配给至少两个执行节点，以供至少两个执行节点并行地执行分配得到的作业实例。

根据本公开的实施例，上述执行信息包括控制属性，该控制属性包括自身并行执行属性，上述根据执行信息，确定具有关联关系的作业实例中，与当前执行的作业实例不冲突的至少一个作业实例包括：确定具有关联关系的作业实例中是否包括与当前执行的作业实例属于同一作业的作业实例；以及在具有关联关系的作业实例中包括与当前执行的作业实例属于同一作业的作业实例，且该属于同一作业的作业实例的自身并行执行属性为是的情况下，确定该属于同一作业的作业实例与当前执行的、属于同一作业的作业实例不冲突。

根据本公开的实施例，上述控制属性还包括上游并行执行属性和下游并行执行属性，执行信息还包括执行时间信息，上述根据执行信息，确定具有关联关系的作业实例中，与当前执行的作业实例不冲突的至少一个作业实例还包括：在具有关联关系的作业实例中不包括与当前执行的作业实例属于同一作业的作业实例的情况下，或者确定属于同一作业的作业实例与当前执行的、属于同一作业的作业实例不冲突的情况下，确定具有关联关系的作业实例中是否包括当前执行的作业实例的上游和/或下游作业实例；以及在具有关联关系的作业实例中包括当前执行的作业实例的上游和 /或下游作业实例的情况下，根据上游和/或下游作业实例的下游并行执行属性和/或上游并行执行属性及执行时间信息，确定该上游和/或下游作业实例是否与当前执行的作业实例相冲突。