[发明专利]一种基于DAG模型的数据ETL系统及使用方法

说明书

本发明涉及数据管理技术领域，特别涉及一种基于DAG模型的数据ETL系统及使用方法，其中系统包括主节点服务、若干个工作节点服务、接口服务和Zookeeper服务；接口服务用于将节点元数据保存到数据库中；主节点服务用于查询数据库中的任务信息，将要执行的任务生成任务队列信息，并将任务队列信息保存到Zookeeper服务；工作节点服务用于通过读取Zookeeper服务的任务队列信息，去顺序执行任务，并在运行完后将任务状态保存到数据库。该系统包括主节点服务、若干工作节点服务、接口服务和Zookeeper服务，解决了传统的SQL语句对数据的处理不能实现可视化的效果，不能查看数据的血缘关系的问题，实现实时监控任务运行状态、支持多租户、支持多种任务类型，并且易于使用的效果。

技术领域

本发明涉及数据管理技术领域，特别涉及一种基于DAG模型的数据ETL系统及使用方法。

背景技术

随着互联网技术的高速发展，数据产生的速度、数量也随之增长。为了有效利用这些隐藏价值的数据，需要对数据进行清洗、转换操作，实现数据的最大利用化。

CN201911121129.7的专利《一种多源数据统一SQL提供数据服务的方法》，提供了一种多源数据统一SQL提供数据服务的方法，包括数据标签管理、数据元标准管理、数据模型管理、数据实例化管理和数据服务管理。本发明实现了数据的标准化管理，并通过标准化后的SQL提供了异构数据的统一CRUD方法。克服了数据格式、定义混乱，不同能力水平的DBA对数据库架构方式不同引起的混乱，不同DSL整合的困难。解决了保持其他系统独立性的情况下外部数据和系统融合分析的问题。实现了多数据系统、多数据来源的数据统一管理，数据层的标准化、资产化和服务化。

然而，通过传统的SQL语句对数据的处理存在不能实现可视化的效果，不能查看数据的血缘关系的问题。

发明内容

为解决上述现有技术中传统的SQL语句对数据的处理存在不能实现可视化的效果，不能查看数据的血缘关系的问题，本发明提供一种基于DAG模型的数据ETL系统，其特征在于：包括主节点服务、若干个工作节点服务、接口服务和Zookeeper服务；

所述接口服务用于将节点元数据保存到数据库中；

所述主节点服务用于查询所述数据库中的任务信息，将要执行的任务生成任务队列信息，并将任务队列信息保存到所述Zookeeper服务；

所述工作节点服务用于通过读取Zookeeper服务的任务队列信息，去顺序执行任务，并在运行完后将任务状态保存到所述数据库。

在一实施例中，所述主节点服务还用于通过监听所述Zookeeper服务的临时节点变化来确定所述工作节点服务的运行状态，并将异常信息显示以实现提醒；所述主节点服务还用于监控各个所述工作节点服务的负载情况，以将后续任务提交到负载较轻的所述工作节点服务运行。

在一实施例中，所述主节点服务包括调度器线程、分布式调度组件、执行器线程和任务管理线程，所述主节点服务各线程的执行步骤如下：

所述调度器线程定时扫描所述数据库中的command表，并根据不同任务的命令类型决定业务操作生成定时任务；

所述分布式调度组件对所述定时任务进行启停操作来调度任务；

调度后的任务通过所述执行器线程进行DAG任务切分、任务提交监控和命令类型的逻辑处理；

所述任务管理线程将任务持久化，持久化指的是把任务的运行状态、运行时长、运行日志保存到所述数据库。

在一实施例中，各个所述工作节点服务启动时在所述Zookeeper服务注册临时节点并维持心跳，所述工作节点服务还通过所述Zookeeper服务进行分布式锁。

在一实施例中，各个所述工作节点均包括任务获取线程和日志服务；