[发明专利]一种数据延时产出监控方法、装置及电子设备

说明书

本发明公开了一种数据延时产出监控方法、装置及电子设备，所述方法包括：间隔预定时间查询已产出监控配置信息；所述监控配置信息包括：监控项和对应的数据产出周期；从所述监控配置信息中提取所述预定时间内的目标监控配置信息；根据所述目标监控配置信息的数据产出周期匹配数据产出文件的分区路径；根据所述数据产出文件的分区路径对数据产出文件进行检测；根据数据产出文件的检测结果对产出数据进行监控。本发明根据监控项的产出时间分批次查询监控配置信息；根据数据产出周期的不同，将单次全量的监控作业负载分散到全天，防止监控任务阻塞，有效避免某段时间的高负载压力。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据延时产出监控方法、装置、电子设备及计算机可读介质。

背景技术

为了保证下游业务的数据需求，通常会对数据平台的数据进行延时产出监控。现有延迟产出监控是在指定时间(比如早上8点)定时统一检测所有监控项的数据产出。而随着监控项数量的增加，监控任务时长会线性增长，会出现某时段的高负载压力，导致监控任务阻塞的问题。

此外，实际中，监控项的数据并不都是同时产出，且每个监控项的启动时间，运行时间都是不同的。同时，监控项的重要性不同，所要求的保障级别也是不同的，不能一概而论。显然，固定在指定时间统一进行检测的方法无法满足针对每个监控项的个性化配置需求。

发明内容

本发明旨在解决现有数据延时监控在统一的指定时间检测所有监控项的数据，会出现监控任务阻塞的技术问题。

为了解决上述技术问题，本发明第一方面提出一种数据延时产出监控方法，所述方法包括：

间隔预定时间查询已产出监控配置信息；所述监控配置信息包括：监控项和对应的数据产出周期；

从所述监控配置信息中提取所述预定时间内的目标监控配置信息；

根据所述目标监控配置信息的数据产出周期匹配数据产出文件的分区路径；

根据所述数据产出文件的分区路径对数据产出文件进行检测；

根据数据产出文件的检测结果对产出数据进行监控。

根据本发明一种优选的实施方式，所述从所述监控配置信息中提取所述预定时间内的目标监控配置信息包括：

根据监控配置信息中数据产出周期确定各个监控项的预期产出时间；

提取预期产出时间在所述预定时间内的监控项和对应的数据产出周期作为目标监控配置信息。

根据本发明一种优选的实施方式，所述根据监控配置信息中数据产出周期确定各个监控项的预期产出时间之前，所述方法还包括：

获取监控结果信息；

将所述监控配置信息与所述监控结果信息进行连接；

所述提取预期产出时间在所述预定时间内的监控项和对应的数据产出周期作为目标监控配置信息包括：

提取预期产出时间在所述预定时间内且监控结果信息中数据产出时间为空的监控项和对应的数据产出周期作为目标监控配置信息。

根据本发明一种优选的实施方式，所述根据所述目标监控配置信息的数据产出周期匹配数据产出文件的分区路径包括：

根据所述目标监控配置信息的数据产出周期从预设分区规则集中匹配目标预设分区规则；

根据目标预设分区规则及文件产出路径解析出数据产出文件的分区路径。

根据本发明一种优选的实施方式，所述根据数据产出文件的检测结果对产出数据进行监控包括：

若检测结果为数据已产出，将数据产出时间写入监控结果信息中；