[发明专利]一种数据质量监测方法、装置、设备及存储介质

说明书

本申请提供了一种数据质量监测方法、装置、设备及存储介质，方法包括：从各个系统获取日志数据，获得各个系统的日志数据，日志数据包括数据生命周期中各个数据阶段的日志数据；将各个系统的日志数据的格式转换为预设格式，获得各个系统的目标日志数据，每个系统的目标日志数据包括至少一个待监测网元的至少一个任务对应的日志数据；从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总，获得各个数据阶段的汇总数据；通过每个数据阶段的汇总数据确定待监测网元的数据质量信息；基于显示配置信息显示各个数据阶段的目标日志数据中的数据和待监测网元的数据质量信息。本申请可对数据生命周期中各个数据阶段的数据质量进行监测。

技术领域

本发明涉及通信技术领域，尤其涉及一种数据质量监测方法、装置、设备及存储介质。

背景技术

目前，通信网络中包括多个系统，多个系统对应数据生命周期中的不同数据阶段，例如，数据生命周期包括数据生成、数据处理和数据消费，那么，有些系统生成数据，有些系统处理数据，有些系统则消费数据。为了了解各个系统的数据质量情况，需要对各个系统的数据质量进行监测。

现有技术中，对各个系统的数据质量进行监测的方式为：各个系统从各自的主要功能出发，基于各自的主要功能对自身的数据质量进行监测，即各个系统之间彼此独立。在各个系统对数据质量进行监测时，由于其考察的维度和标准迥异，呈现内容和呈现方式也不同，因此，无法全面了解整个数据生命周期中的数据质量情况，从而无法及时准确地定位数据质量问题。

发明内容

有鉴于此，本发明提供了一种数据质量监测方法、装置、设备及存储介质，用以解决现有的数据质量监测方法无法全面了解整个数据生命周期中的数据质量情况，从而无法及时准确地定位数据质量问题，其技术方案如下：

一种数据质量监测方法，应用于服务器，包括：

从各个系统获取日志数据，获得各个系统的日志数据，其中，所述日志数据包括数据生命周期中各个数据阶段的日志数据；

将所述各个系统的日志数据的格式统一转换为预设格式，获得各个系统的目标日志数据，其中，每个系统的目标日志数据包括至少一个待监测网元的至少一个任务对应的日志数据；

从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总，获得各个数据阶段对应的汇总数据；

对于每个数据阶段，通过所述数据阶段的汇总数据确定所述待监测网元的数据质量信息，其中，所述数据质量信息包括异常信息、及时性信息、完整性信息；

基于显示配置信息显示所述各个数据阶段的所述目标日志数据中的数据和所述待监测网元的数据质量信息，其中，所述显示配置信息用于指示在显示界面中显示的信息、信息的显示方式。

优选地，所述数据质量监测方法还包括：

在获得所述各个系统的目标日志数据之后，将所述各个系统的目标日志数据发送至分布式消息系统，以使所述分布式消息系统将所述各个系统的目标日志数据存入数据库；

从所述数据库获取所述各个系统的目标日志数据，执行所述从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总。

其中，确定所述各个系统的目标日志数据所处的数据阶段，包括：

通过所述各个系统的目标日志数据对应的数据阶段标识确定所述各个系统的目标日志数据所处的数据阶段，其中，所述数据阶段标识通过与所述目标日志数据对应的系统的标识确定。

其中，通过所述数据阶段的汇总数据确定所述待监测网元的异常信息，包括：

对于每个目标待监测网元，判断所述目标待监测网元的日志数据中是否包含预设关键字，其中，所述预设关键字为指示所述目标待监测网元存在异常的关键字；