[发明专利]数据异常检测方法、装置、检测系统及存储介质在审
申请号: | 201811475251.X | 申请日: | 2018-12-04 |
公开(公告)号: | CN109582555A | 公开(公告)日: | 2019-04-05 |
发明(设计)人: | 万月亮;孔庆爱;火一莽 | 申请(专利权)人: | 北京锐安科技有限公司 |
主分类号: | G06F11/34 | 分类号: | G06F11/34 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 100044 北京市海淀区西小口*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 日志数据 数据异常 存储介质 检测系统 输出数据 输出量 数据变化率 监控成本 监控效率 数据处理 数据丢失 异常现象 监控 检测 排查 统计 输出 | ||
1.一种数据异常检测方法,其特征在于,包括:
接收日志数据,并统计所述日志数据的接收量;
统计对所述日志数据进行数据处理后,所输出数据的输出量;
若所述输出量与所述接收量的数据变化率大于设定阈值,则确定当前设备存在数据异常。
2.根据权利要求1所述的方法,其特征在于,统计所述日志数据的接收量,包括:
根据所接收的日志数据的输入属性对所述日志数据进行统计,得到所述日志数据的接收量;
其中,所述输入属性包括数据接收时间段、数据类型以及数据源类型中的至少一种;
相应的,所述统计对所述日志数据进行数据处理后,所输出数据的输出量,包括:
对日志数据进行数据处理后,根据输出属性对所输出数据的进行统计,得到所输出数据的输出量;
其中,所述输出属性包括数据生成时间段、所述数据类型以及所述数据源类型中的至少一种;所述数据生成时间段与所述数据接收时间段相对应。
3.根据权利要求1所述的方法,其特征在于,还包括:
获取当前设备的异常状态位,根据所述异常状态位确定产生功能异常的处理端口。
4.根据权利要求1所述的方法,其特征在于,在确定输出量与所述接收量的数据变化率之前,还包括:
获取进行数据处理时所包含的各处理指令,并确定所述处理指令中是否包括数据丢弃指令;
在处理指令包括数据丢弃指令时,确定进行数据处理所丢弃数据的数据量;
根据所丢弃数据的数据量与所述输出量的和值,更新所述输出量。
5.根据权利要求1-4任一项所述的方法,其特征在于,日志数据包括数据报文和/或数据记录。
6.根据权利要求5所述的方法,其特征在于,所述接收量包括字节数、数据包数、记录行数以及流量数中的至少一种;
相应的,所述输出量包括字节数、数据包数、记录行数以及流量数中的至少一种。
7.一种数据异常检测装置,其特征在于,包括:
输入统计模块,用于接收日志数据,并统计所述日志数据的接收量;
输出统计模块,用于统计对所述日志数据进行数据处理后,所输出数据的输出量;
异常确定模块,用于在所述输出量与所述接收量的数据变化率大于设定阈值,确定当前设备存在数据异常。
8.一种数据异常检测系统,其特征在于,包括至少一个处理环节设备,用于执行如权利要求1-6任一项所述的一种数据异常检测方法。
9.根据权利要求8所述的系统,其特征在于,还包括一致性检测设备;
所述一致性检测设备用于执行数据异常检测方法,包括:
依次获取与当前处理环节设备所关联的各处理环节设备,基于待检测数据进行数据处理后得到的处理结果数据;其中,所述待检测数据包括指定字段标识;
根据包含所述指定字段标识的处理结果数据,与所述待检测数据的数量关系,确定产生数据异常的处理环节设备,并生成异常环节设备表。
10.根据权利要求9所述的系统,其特征在于,所述一致性检测设备所执行的数据异常检测方法,还包括:
获取并比较当前处理环节设备与前一处理环节设备的数据记录标识表;
将两个数据记录标识表中所包含不一致的数据记录标识与当前处理环节设备,关联存储至所述异常环节设备表中。
11.根据权利要求9所述的系统,其特征在于,所述一致性检测设备所执行的数据异常检测方法,还包括:
接收用户输入的待查询数据记录标识,根据所述数据记录标识查询各处理环节设备对应的数据记录标识表;
获取不包括所述待查询数据记录标识的数据记录标识表所对应的目标处理环节设备,并将所述待查询数据记录标识和所述目标处理环节设备关联存储。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6任一项所述的一种数据异常检测方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京锐安科技有限公司,未经北京锐安科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811475251.X/1.html,转载请声明来源钻瓜专利网。