[发明专利]一种基于元数据的任务调度的优化方法及装置

说明书

本发明公开了一种基于元数据的任务调度的优化方法及装置，其中，所述方法包括：获取元数据信息；获取任务依赖关系图，其中所述任务依赖关系图是有向无环图；根据所述元数据信息和所述任务依赖关系图，确定满足第一预设条件的任务，其中，所述第一预设条件为运行所述任务时仅需要依赖所述任务的前置任务中的部分任务；优化所述满足第一预设条件的任务。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于元数据的任务调度的优化方法及装置。

背景技术

数据仓库是一种面向决策主题、由多数据源集成、拥有当前及历史总结数据、以读为主的数据库系统，其目的是支持决策。数据仓库的处理过程众多，包括建立数据仓库的数据抽取、转换、加载、数据集市生成、数据立方生成过程，数据仓库管理的更新、归档过程，以及应用报表生成过程等。对于企业级数据仓库系统，其中的处理程序成千上万，如何有效的调度和管理这些任务是数据仓库管理的重中之重，也是提高数据仓库性能和资源利用率的关键。解决问题的关键之一是对元数据进行科学有效的管理。元数据是关于数据、操作数据的进程和应用程序的结构和意义的描述信息。元数据不仅定义了数据仓库中数据的模式、来源以及抽取和转换的规则等，而且整个数据仓库系统的运行都是基于元数据的。所以，基于元数据的任务调度方法很大程度的影响了系统处理数据的效率。

在数据仓库任务中，发现存在多个数据往同一个目标表插入数据时，后续的任务需要等待所有的数据插入完成时才会启动，而实际上后续任务并不需要等待所有数据完成。这样造成后续任务处理的延迟。如图1所示，表Table4的处理生产任务为Task01、Task02和Task03。后续依赖触发的任务有Task04和Task05。在一般的调度任务配置中，会等Task01、Task02和Task03处理完，才启动Task04和Task05。

在这种多依赖的任务中，有些任务并不需要利用所有的前置任务都处理完成才能处理。我们把这种现象称为过渡依赖。现有技术中，后置的任务需要依赖所有前置的任务都出来完成才能启动，影响了数据处理的及时性。

发明内容

为解决现有技术中存在的问题，本发明实施例提供一种基于元数据的任务调度的优化方法及装置，能够提高数据处理的及时性。

为达到上述目的，本发明实施例的技术方案是这样实现的：

第一方面，本发明实施例提供一种基于元数据的任务调度的优化方法，所述方法包括：

获取元数据信息；

获取任务依赖关系图，其中，所述任务依赖关系图是有向无环图；

根据所述元数据信息和所述任务依赖关系图，确定满足第一预设条件的任务，其中，所述第一预设条件为运行所述任务时仅需要依赖所述任务的前置任务中的部分任务；

优化所述满足第一预设条件的任务。

第二方面，本发明实施例提供一种基于元数据的任务调度的优化装置，所述装置包括：

第一获取模块，用于获取元数据信息；

第二获取模块，用于获取任务依赖关系图，其中所述任务依赖关系图是有向无环图；

第一确定模块，用于根据所述元数据信息和所述任务依赖关系图，确定满足第一预设条件的任务，其中，所述第一预设条件为运行所述任务时仅需要依赖所述任务的前置任务中的部分任务；

第一优化模块，用于优化所述满足第一预设条件的任务。