[发明专利]数据异常检测方法、装置、检测系统及存储介质

说明书

本发明实施例公开了数据异常检测方法、装置、检测系统及存储介质。该方法包括：接收日志数据，并统计日志数据的接收量；统计对日志数据进行数据处理后，所输出数据的输出量；若输出量与所述接收量的数据变化率大于设定阈值，则确定当前设备存在数据异常。上述技术方案通过接收的日志数据和对日志数据进行处理后输出的输出数据之间的数量和/或流量的比较，实现了对数据丢失等异常现象的监控和排查，降低了系统的监控成本，提高了监控效率和监控精度。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据异常检测方法、装置、检测系统及存储介质。

背景技术

网络是信息传输、接收、共享的虚拟平台，通过它把各个点、面、体的信息联系到一起，从而实现这些资源的共享。随着技术的不断发展，互联网的应用越来越广泛，所产生数据的数量与日俱增。

对互联网海量数据进行入库处理时，通常会存在由于数据丢失导致的数据质量较差的问题。由于数据入库的环节众多，各个环节都有可能出现数据丢失的现象。现有技术中并没有统一的数据排查方法以对数据丢失等异常问题进行监控和排查。

发明内容

本发明提供一种数据异常检测方法、装置、检测系统及存储介质，以对数据入库过程中的数据丢失等异常现象进行监控和排查。

第一方面，本发明实施例提供了一种数据异常检测方法，包括：

接收日志数据，并统计所述日志数据的接收量；

统计对所述日志数据进行数据处理后，所输出数据的输出量；

若所述输出量与所述接收量的数据变化率大于设定阈值，则确定当前设备存在数据异常。

第二方面，本发明实施例还提供了一种数据异常检测装置，包括：

输入统计模块，用于接收日志数据，并统计所述日志数据的接收量；

输出统计模块，用于统计对所述日志数据进行数据处理后，所输出数据的输出量；

异常确定模块，用于在所述输出量与所述接收量的数据变化率大于设定阈值，确定当前设备存在数据异常。

第三方面，本发明实施例还提供了一种数据异常检测系统，包括至少一个处理环节设备，用于执行如第一方面实施例提供的一种数据异常检测方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如第一方面实施例提供的一种数据异常检测方法。

本发明实施例通过接收日志数据，并统计日志数据的接收量；统计对日志数据进行数据处理后，所输出数据的输出量；若输出量与接收量的数据变化率大于设定阈值，则确定当前设备存在数据异常。上述技术方案通过接收的日志数据和对日志数据进行处理后输出的输出数据之间的数量和/或流量的比较，实现了对数据丢失等异常现象的监控和排查，降低了系统的监控成本，提高了监控效率和监控精度。

附图说明

图1是本发明实施例一中的一种数据异常检测方法的流程图；

图2是本发明实施例二中的一种数据异常检测方法的流程图；

图3是本发明实施例三中的一种数据异常检测装置的结构图；

图4是本发明实施例四中的一种数据异常检测系统的结构图；

图5是本发明实施例五中的一种数据异常检测系统的结构图；

图6是本发明实施例五中的一种数据异常检测方法的流程图；

图7A是本发明实施例六中的一种数据异常检测方法的示意图；