[发明专利]一种智能监控数据仓库调度系统的方法

说明书

本发明涉及一种智能监控数据仓库调度系统的方法，具体包含以下步骤：（1）监控调度系统软硬件资源的可用性；（2）监控ODS自动化系统，并提供异常处理机制；（3）监控应用系统的查询效率，并提供优化建议；（4）监控ETL跑批过程。本发明的一种智能监控数据仓库调度系统的方法，使得对调度系统的监控全方位、全流程的覆盖到每一个场景；还对可能出现的问题提前预防，让已经出现的问题立即自动修复，让无法自动修复的报错定位到问题并及时通知运维人员处理，并不断完善系统修复的功能。本发明的监控方法每天输出系统监控报告，报告中详细描述系统监控指标情况及建议。

技术领域

本发明涉及智能监控技术领域，具体涉及一种智能监控数据仓库调度系统的方法。

背景技术

大数据仓库是一个庞大的业务系统，包含ETL调度、多个模型层、若干应用系统等，管理和维护很不方便，缺乏有效的告警。业务数据出现问题都是后知后觉，常常是等到出现问题，再由人工处理问题，耗时较长并效率较低。准确、稳定的业务数据是公司业务开展的前提和保障，为了提高大数据系统的稳定性，需要对监控机制进行优化改进。

发明内容

本发明所要解决的技术问题是提供一种智能监控数据仓库调度系统的方法。

为解决以上技术问题，本发明的技术方案为：提供一种智能监控数据仓库调度系统的方法，其创新点在于：具体包含以下步骤：

（1）监控调度系统软硬件资源的可用性；

（2）监控ODS自动化系统，并提供异常处理机制；

（3）监控应用系统的查询效率，并提供优化建议；

（4）监控ETL跑批过程。

进一步的，所述步骤（1）中的监控调度系统软硬件资源的可用性主要是通过系统定时扫描大数据相关机器的带宽、磁盘IO、CPU、内存、数据库的状态以及数据库表空间使用情况来实现，将扫描结果和预先设置的阈值进行比较，若不在预先设置的阈值范围内，则自动触发告警，显示触发告警的资源不可用。

进一步的，所述步骤（2）主要是通过以下步骤实现：

1）调度系统辅助ODS自动化系统，并同步监控ODS自动化全流程，记录ODS自动化每一步的操作日志；

2）当ODS自动化出现报错，调度系统自动捕获异常，通过自身程序修复异常问题，并提供异常回滚机制；

3）当出现无法处理的问题立即告警，通知运维人员处理。

进一步的，所述步骤（3）中监控应用系统的查询效率主要表现在：调度系统每天定时扫描每张报表的查询效率性能，通过预先设置的阈值，当查询耗时超过阈值，触发告警并将查询SQL的执行计划和优化建议发送给开发人员进行性能优化。

进一步的，所述步骤（4）中对ETL跑批过程监控包括：

1）通过全流程监控ETL跑批、记录任务运行过程中产生的日志和检查当天所有调度任务的执行情况；

2）针对对调度系统的监控情况提供任务失败告警、超时未完成告警、任务成功提示等功能；

3）监控并分析Hive任务运行情况，包括内存消耗、CPU消耗、HDFS读写次数、Map数和平均耗时等，系统提供优化建议；

4）定时备份ETL任务代码，提供代码异常恢复机制；

5）提供任务上下游依赖关系分析。

进一步的，所述步骤1）中检查当天所有调度任务的所述执行情况包括任务的报错、延迟和重跑情况。

本发明和现有技术相比，产生的有益效果为：