[发明专利]数据仓库智能调度任务跑批系统及方法

权利要求书

1.数据仓库智能调度任务跑批系统，包括文件系统模块，文件系统模块用于存储加工脚本；其特征在于，还包括：

Sql解析模块，用于获取加工脚本并对加工脚本进行内容解析得到解析结果；Sql解析模块还基于解析结果分析数据流向和数据仓库血缘关系，并生成血缘关系数据；

数据库模块，用于获取血缘关系数据并存储；

资源分析模块，用于获取计算集群的资源消耗信息，并生成优化调度方案；

调度模块，用于获取血缘关系数据和优化调度方案，并根据血缘关系数据和优化调度方案调度加工脚本。

2.根据权利要求1所述的数据仓库智能调度任务跑批系统，其特征在于：所述解析结果包括输入表、输出表，输入字段和输出字段。

3.根据权利要求1所述的数据仓库智能调度任务跑批系统，其特征在于：所述资源消耗信息包括CPU使用情况、内存使用情况和IO读写情况。

4.根据权利要求1所述的数据仓库智能调度任务跑批系统，其特征在于：所述文件系统模块采用HDFS文件系统。

5.根据权利要求1所述的数据仓库智能调度任务跑批系统，其特征在于：所述Sql解析模块采用Hql解析器。

6.根据权利要求1所述的数据仓库智能调度任务跑批系统，其特征在于：所述数据库模块采用图形数据库。

7.根据权利要求1所述的数据仓库智能调度任务跑批系统，其特征在于：所述资源分析模块采用YARN资源管理器。

8.根据权利要求1所述的数据仓库智能调度任务跑批系统，其特征在于：所述调度模块采用Oozie调度工具。

9.数据仓库智能调度任务跑批方法，其特征在于，包括如下步骤：

S1、Sql解析模块获取加工脚本；

S2、Sql解析模块对加工脚本进行内容解析，并输出解析结果；解析结果包括输入表、输出表，输入字段和输出字段；

S3、Sql解析模块基于解析结果分析数据流向和数据仓库血缘关系，并生成血缘关系数据；

S4、将血缘关系数据存储至数据库模块；

S5、资源分析模块获取计算集群的资源消耗信息，并生成优化调度方案；

S6、调度模块根据血缘关系数据和优化调度方案调度加工脚本。

10.根据权利要求9所述的数据仓库智能调度任务跑批方法，其特征在于：所述S5中，资源消耗信息包括CPU使用情况、内存使用情况和IO读写情况。