[发明专利]元数据获取方法、装置、设备及计算机可读存储介质

说明书

本发明公开了一种元数据获取方法、装置、设备及计算机可读存储介质，该方法包括步骤：当侦测到获取元数据的获取指令后，检测当前时间是否处于所述获取指令对应获取任务的执行时间范围内；若所述当前时间处于所述执行时间范围内，则确定与所述调度器连接的执行器中，资源利用率最小的目标执行器；将所述获取任务发送给所述目标执行器，以供所述目标执行器根据所述获取任务采用对应的获取工具在对应的数据系统中获取所述元数据。本发明通过适配不同数据类型的获取工具获取不同数据类型的元数据，以获取到除关系型数据库外其它数据组件存储的元数据。

技术领域

本发明涉及大数据技术领域，尤其涉及一种元数据获取方法、装置、设备及计算机可读存储介质。

背景技术

元数据管理为企业建立元数据管理体系提供了可靠、便捷的工具支持，可帮助企业绘制数据血缘、统一数据口径、标明数据方位、分析数据关系、管理模型变更等，便于企业更加有效的发掘和利用信息资产的价值，实现精准高效的分析和决策，推进系统变更管理，降低项目风险。元数据管理的核心功能之一是获取各个数据系统和业务系统的元数据信息，为其建立数据模型并存储到关系型数据库或分布式文件系统中，并对元数据进行版本管理。

目前已有的一些元数据管理和数据治理工具如Transwarp Governor和PrimetonMetaCube。Governor是Transwarp Data Hub(TDH)中的元数据管理和数据治理工具。用户可以用它来管理元数据，进行数据血缘分析和影响分析。Primeton(普元)MetaCube。MetaCube是普元基于CWM(Common Warehouse Metamodel，公共仓库元模型)规范的企业级元数据管理产品，为企业建立元数据管理体系提供了可靠、便捷的工具支持，可采集来自企业内数据仓库领域内的元数据，为企业提供了端到端的元数据服务，从而更加有效的发掘和利用信息资产的价值，实现精准高效的分析和决策。

当前的元数据管理和数据治理工具在元数据获取过程中，数据组件支持的不够完善，当前主流的大数据平台由各种开源和商业数据组件整合，主要包括流式组件(Kafka)、分布式非关系型数据库(HBase)、数据仓库工具(Hive)、关系型数据库(Oracle/TeradataDatabase/MySQL)、商业智能(Business Intelligence，BI)工具(SAS)等，目前的元数据管理和数据治理工具只能支持关系型数据库，无法获取除关系型数据库外其它数据组件存储的元数据。

发明内容

本发明的主要目的在于提供一种元数据获取方法、装置、设备及计算机可读存储介质，旨在解决现有的无法获取除关系型数据库外其它数据组件存储的元数据的技术问题。

为实现上述目的，本发明提供一种元数据获取方法，所述元数据获取方法应用于调度器，所述元数据获取方法包括步骤：

当侦测到获取元数据的获取指令后，检测当前时间是否处于所述获取指令对应获取任务的执行时间范围内；

若所述当前时间处于所述执行时间范围内，则确定与所述调度器连接的执行器中，资源利用率最小的目标执行器；

将所述获取任务发送给所述目标执行器，以供所述目标执行器根据所述获取任务采用对应的获取工具在对应的数据系统中获取所述元数据。

优选地，所述若所述当前时间处于所述执行时间范围内，则确定与所述调度器连接的执行器中，资源利用率最小的目标执行器的步骤包括：

若所述当时时间处于所述执行时间范围内，则获取与所述调度器连接的各个执行器当前的中央处理器CPU资源利用率；

将所述CPU资源利用率最小的执行器确定为目标执行器。

为实现上述目的，本发明提供一种元数据获取方法，所述元数据获取方法应用于执行器，所述元数据获取方法包括步骤：

当接收到调度器发送的获取任务后，获取所述获取任务对应的执行参数；