[发明专利]一种数据仓库数据监控的方法

摘要

一种数据仓库数据监控的方法，包括如下步骤确定需要进行监控的数据仓库的监控表及内容，进行参数配置，监控表参数配置的内容分三种；1‑1)数据量监控配置数据量监控主要监控的内容是监控表列出和当日新增的数据量是否异常；1‑2)数据库的数据源表结构监控配置；数据源表结构监控的内容是监控数据源的表结构是否发生变化，包括新增字段、删除字段、修改字段类型、修改字段长度等；这些变化有些会导致数据同步程序报错，有些可能代表业务发生改变都是需要数据分析人员关注的；1‑3)数据源的表字段取值监控配置是监控数据源表重点字段的取值，通常是维度表的取值。

主权项

一种数据仓库数据监控的方法，其特征是包括如下步骤：1）确定需要进行监控的数据仓库的监控表及内容，进行参数配置，监控表参数配置的内容分三种；1‑1）数据量监控配置数据量监控的内容是监控表列出的当日新增的数据量是否异常，判断异常的标准首先是数据量是否为0，如果为0那么就是异常；其次是与昨日及上周同日的历史数据进行对比，如果与历史数据比较相差超过一定比例或阈值，则视为异常；需要监控配置的内容包括数据名称、表名、时间字段、时间字段类型、统计项目、统计条件、监控时间；监控程序将根据需要监控配置的内容拼接成相应的SQL语句，待调度程序来执行；1‑2）数据库的数据源表结构监控配置数据源表结构监控的内容是：监控数据源的表结构是否发生变化，包括新增字段、删除字段、修改字段类型、修改字段长度；这些变化将导致数据同步程序报错，或代表业务发生改变；需要监控配置的内容包括数据库的类型，数据库连接方式、数据库表名、对应数据库名；监控程序将根据这些内容到相应数据库中查看表结构信息；并与之前保存的相应业务数据库信息进行比较，如果发现有变动，系统发告警到指定人员；1‑3）数据源的表字段取值监控配置数据源表字段取值监控的内容是监控数据源表重点字段的取值，包括维度表的取值，这些取值出现变化，代表了业务出现了变化；需要配置的内容包括数据库表名、字段名称、数据类型；监控程序将根据这些内容到数据仓库中查看相关的字段取值；并与之前保存的相应的字段取值信息进行比较，如果发现有变动，系统发告警到指定人员；2）部署服务器任务，定时执行监控程序因为数据仓库数据每天都在更新，相应的监控程序也在每天执行；根据每日数据仓库的运行时间来确定每日监控的执行时间；在实现时采取定时监控，如果监控任务没有全部完成，监控程序将休眠一段时间继续执行；3）将监控结果形成报告发送给指定人员；监控执行到最后，需要将检查出的异常情况告知到相关责任人，告警方式包括报表、邮件、短信；监控配置中还包括告警人员配置，配置的内容包括人员姓名、手机、邮箱；将不同的表按照项目进行划分，每个项目配置对应的负责人员；系统运行中发现的异常将按照对应的配置发给相关人员；步骤3）中，根据告警的级别来选择告警方式；严重告警必须通过短信方式及时通知到维护人员，不用立刻解决的普通级别的告警采用邮件方式告警；数据仓库监控表是通过访问经统计后的日志表进行监控。