[发明专利]一种数据质量监测方法、装置、设备及存储介质

权利要求书

1.一种数据质量监测方法，其特征在于，应用于服务器，包括：

从各个系统获取日志数据，获得各个系统的日志数据，其中，所述日志数据包括数据生命周期中各个数据阶段的日志数据；

将所述各个系统的日志数据的格式统一转换为预设格式，获得各个系统的目标日志数据，其中，每个系统的目标日志数据包括至少一个待监测网元的至少一个任务对应的日志数据；

从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总，获得各个数据阶段对应的汇总数据；

对于每个数据阶段，通过所述数据阶段的汇总数据确定所述待监测网元的数据质量信息，其中，所述数据质量信息包括异常信息、及时性信息、完整性信息；若所述待监测网元的日志数据中包含预设关键字，则判定所述待监测网元存在异常，否则，判定所述待监测网元无异常；若所述待监测网元的及时率大于及时率阈值，则判定所述待监测网元及时，否则，判定所述待监测网元不及时；若所述待监测网元的完整率大于完整率阈值，则判定所述待监测网元完整，否则，判定所述待监测网元不完整；

基于显示配置信息显示所述各个数据阶段的所述目标日志数据中的数据和所述待监测网元的数据质量信息，其中，所述显示配置信息用于指示在显示界面中显示的信息、信息的显示方式。

2.根据权利要求1所述的数据质量监测方法，其特征在于，所述数据质量监测方法还包括：

在获得所述各个系统的目标日志数据之后，将所述各个系统的目标日志数据发送至分布式消息系统，以使所述分布式消息系统将所述各个系统的目标日志数据存入数据库；

从所述数据库获取所述各个系统的目标日志数据，执行所述从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总。

3.根据权利要求1或2所述的数据质量监测方法，其特征在于，确定所述各个系统的目标日志数据所处的数据阶段，包括：

通过所述各个系统的目标日志数据对应的数据阶段标识确定所述各个系统的目标日志数据所处的数据阶段，其中，所述数据阶段标识通过与所述目标日志数据对应的系统的标识确定。

4.根据权利要求3所述的数据质量监测方法，其特征在于，通过所述数据阶段的汇总数据确定所述待监测网元的异常信息，包括：

对于每个目标待监测网元，判断所述目标待监测网元的日志数据中是否包含预设关键字，其中，所述预设关键字为指示所述目标待监测网元存在异常的关键字；

若所述目标待监测网元的日志数据中包含所述预设关键字，则判定所述目标待监测网元存在异常，否则，判定所述目标待监测网元无异常。

5.根据权利要求3所述的数据质量监测方法，其特征在于，通过所述数据阶段的汇总数据确定所述待监测网元的及时性信息，包括：

对于每个目标待监测网元，从所述目标待监测网元的每个目标任务对应的日志数据所包含的任务执行时间信息获得任务耗时；

判断所述任务耗时是否大于为所述目标任务设置的及时性阈值，若所述任务耗时大于所述及时性阈值，则判定所述目标任务执行不及时，否则，判定所述目标任务执行及时；

统计所述目标待监测网元中执行及时的任务的数量，以及，所述目标待监测网元中任务的总数量；

通过所述目标待监测网元中执行及时的任务的数量，以及，所述目标待监测网元中任务的总数量，确定所述目标待监测网元的及时率；

判断所述目标待监测网元的及时率是否大于及时率阈值，若所述目标待监测网元的及时率大于所述及时率阈值，则判定所述目标待监测网元及时，否则，判定所述目标待监测网元不及时。

6.根据权利要求5所述的数据质量监测方法，其特征在于，在判定出所述目标任务执行不及时后，所述数据质量监测方法还包括：

通过所述任务耗时和所述及时性阈值确定所述目标任务的超门限时延；

在确定出所述目标待监测网元中所有执行不及时的任务的超门限时延后，将所述目标待监测网元中所有执行不及时的任务的超门限时延求和，获得所述目标待监测网元的超门限时延。