[发明专利]通信告警频繁项集挖掘引擎及冗余处理方法

说明书

技术领域

本发明涉及移动互联网络告警监控领域，特别涉及基于数据挖掘技术的告警频繁项集获取领域，具体地说是一种通信告警频繁项集挖掘引擎及冗余处理方法。

背景技术

移动通信告警量巨大，其中的一些告警发生的时候，总会有其它特定的告警随之发生，这些在一段时间内频繁发生的告警称之为告警频繁项集。告警频繁项集隐含着告警关联的主要信息，是我们进行告警关联分析的重要依据。数据挖掘中的频繁项集挖掘算法，能够从告警数据库中可以挖掘出蕴含在大量告警中的频繁项集，其中的频繁模式增长算法能够将告警信息储存在一颗频繁模式树中，通过遍历频繁模式树，生成条件模式基和条件模式子树，就能够挖掘出告警中出现的频繁项集。但是在实际工程应用中，由于告警数量巨大，告警种类繁多，用于挖掘的告警数据量都在几百万甚至上千万条。频繁模式增长算法会产生大量的条件模式基和条件模式树，使得算法的效率很低，并且得到的频繁项集，相对于实际的工程应用来说大部分是冗余的，使得后期的处理工作量巨大，效率低下。本发明针对上述问题构建了高效的频繁项集挖掘及冗余处理引擎，该引擎改进了频繁模式增长算法的性能，有很强的执行效率和实用性，能够挖掘出复杂互联通信设备的告警频繁项集，并对挖掘结果进行冗余处理，为通信网络告警频繁项集挖掘工作提供有效和实用化的解决方法。

发明内容

本发明的目的是提供一种通信告警频繁项集挖掘引擎及冗余处理方法。

本发明的目的是按以下方式实现的，挖掘引擎包括以下内容：

(1)采集通信告警数据并对数据进行预处理，通过对数据的预处理确保告警频繁项集挖掘的效率、准确度以及最终结果的有效性；

(2)设定了告警时间窗和滑动步长两个参数，将告警关系型数据转化成事务型数据，最大程度地保证在一个告警时间窗内告警发生的完整性，为告警频繁项集的挖掘工作做准备；

(3)频繁模式增长改进算法，建立项头列表和条件模式树，在每条路径上挖掘低阶项的所有条件模式基，并进行标记，在挖掘每一项时，首先判断该节点标记，如果标记为真，则跳过该路径，直接挖掘下一个路径，这样只需要挖掘部分低阶的项，就可以遍历所有的路径，找出所有的条件模式基，然后生成条件模式树，挖掘频繁项集；

(4)对挖掘到的告警频繁项集进行冗余处理，将最大频繁项集的所有子集，在支持数上进行比较，从最大n阶频繁项集开始，如果n-1阶子集的支持数大于等于最大n阶频繁项集的支持数不超过一个常数c，将此项集删除，对于满足上述的频繁项集进行保留；

(5)对获取到的告警频繁项集进行归纳整理，并提供详细的解释信息，便于运维人员进行规则核对。

冗余处理步骤如下：

(1)从设备中采集告警数据，并对数据进行清洗和集成，建立告警id表来标记告警数据，完成数据的采集和准备工作；

(2)设置告警时间窗和滑动窗口，对数据进行转换，将关系型告警数据，转换成事务型告警数据；

(3)设置支持度阈值，调用改进的频繁模式增长算法，对告警数据进行频繁项集挖掘；

(4)对挖掘结果进行冗余处理；

(5)对最终得到的告警频繁项集进行合理的解释，并将结果呈现给运维人员便于查询和维护。

本发明的优异效果

(1)将人工智能中的数据挖掘算法引入到告警频繁项集的挖掘应用当中，并对算法进行了改进，使得算法能够高效和准确地挖掘出告警频繁项集。

(2)面向实际应用，提出了频繁模式增长改进算法，在原算法的基础上对生成条件模式基和条件模式树的方式进行了改进，使得该算法的处理能力有了极大的提高，能够满足工程应用的需要。

(3)对告警频繁项集的挖掘结果进行了冗余处理，从实际应用的角度出发，剔除了其中一些冗余结果，使得挖掘结果能够更加简洁实用。

本发明不依赖于网络模型与拓扑结构，适用于移动互联网、固网、通信网络等多种网络模型的告警频繁项集获取。

附图说明

图1是通信告警频繁项集挖掘引擎结构图；

图2是项头列表与频繁模式树示意图；

图3是频繁模式改进算法流程图；

具体实施方式

参照说明书附图对本发明的方法作以下详细地说明。

本发明的通信告警频繁项集挖掘引擎及冗余处理方法，是针对现代通信网络告警监控的需求，将数据挖掘算法中的频繁模式增长算法进行改进，应用到通信告警频繁项集挖掘当中。从海量的告警中快速获得告警频繁项集，并且对挖掘结果进行了冗余处理，进而帮助运维人员高效地完成各类网络告警信息的处理，为通信告警关联分析工作提供一种创新的解决方案。

系统基本构成和工作原理