[发明专利]数据仓库智能调度任务跑批系统及方法

说明书

本发明涉及数据仓库管理技术领域，具体公开了数据仓库智能调度任务跑批系统及方法，系统包括文件系统模块，文件系统模块用于存储加工脚本；还包括：Sql解析模块，用于获取加工脚本并对加工脚本进行内容解析得到解析结果；Sql解析模块还基于解析结果分析数据流向和数据仓库血缘关系，并生成血缘关系数据；数据库模块，用于获取血缘关系数据并存储；资源分析模块，用于获取计算集群的资源消耗信息，并生成优化调度方案；调度模块，用于获取血缘关系数据和优化调度方案，并根据血缘关系数据和优化调度方案调度加工脚本。采用本发明的技术方案能够提高处理的效率和速度。

技术领域

本发明涉及数据仓库管理技术领域，特别涉及数据仓库智能调度任务跑批系统及方法。

背景技术

“跑批”也叫“批量处理”或“批处理”，英文：Batch Processing，是现今各类IT系统中常见业务之一，根据统计，70％的业务系统中的操作，是通过跑批方式完成的。“跑批”简单来说，是将一类相同的业务“积攒”到一定的量(业务相同，成批量)，在指定时间点启动进行自动处理，达到简化操作，提升效率的目的。

分析批处理的过程，我们不难总结出批处理业务的特点：处理量大(成批)，有特定的触发时机(指定时间点)，可自动处理。目前银行系统中不同业务的跑批任务还是需要人工配置跑批参数，然后在指定的时间进行，这样的处理导致效率较低，而且速度较慢。

而且大量数据处理任务堆积在指定的时间内处理，不仅对系统的计算集群提出了较高的要求，导致处理成本大幅增加，同时因任务过多、负载过重使得部分任务处理不及时，时效性差；并且在处理高峰时段过后，由于处理资源消耗骤降，导致部分计算集群的处理资源闲置，资源配置不均衡。

为此，需要一种能自动对跑批进行调度的系统及方法，以提高处理的效率和速度。

发明内容

本发明提供了数据仓库智能调度任务跑批系统及方法，能够提高处理的效率和速度。

为了解决上述技术问题，本申请提供如下技术方案：

数据仓库智能调度任务跑批系统，包括文件系统模块，文件系统模块用于存储加工脚本；还包括：

Sql解析模块，用于获取加工脚本并对加工脚本进行内容解析得到解析结果；Sql解析模块还基于解析结果分析数据流向和数据仓库血缘关系，并生成血缘关系数据；

数据库模块，用于获取血缘关系数据并存储；

资源分析模块，用于获取计算集群的资源消耗信息，并生成优化调度方案；

调度模块，用于获取血缘关系数据和优化调度方案，并根据血缘关系数据和优化调度方案调度加工脚本。

基础方案原理及有益效果如下：

本方案中，数据仓库智能调度任务跑批系统将血缘分析和计算集群的资源消耗两者相结合。将血缘关系数据作为数据调度跑批的加工依据，降低了调度跑批的耦合性和加工脚本相互之间不必要的依赖，能够快速的加工出一张银行业务所需求的报表。通过资源分析模块获取计算集群的资源消耗信息，能尽可能高效的使用计算集群资源，尽可能的避免出现计算集群资源使用的空档期，同时也就提高了数据加工调度任务时跑批的效率。综上，本方案能够智能化的实现数据仓库中加工脚本的作业调度、任务跑批，减少调度配置的工作量，高效的利用计算集群资源，实现了提高处理的效率和速度的目的。

进一步，所述解析结果包括输入表、输出表，输入字段和输出字段。

通过输入表、输出表，输入字段和输出字段能分析出血缘关系、上下游依赖关系，能够清楚得到数据仓库的血缘关系数据。

进一步，所述资源消耗信息包括CPU使用情况、内存使用情况和IO读写情况。