[发明专利]一种面向多数据流的异常状态检测方法

说明书

本发明提供的一种面向多数据流的异常状态检测方法，可以实时高效的检测出各个数据流在各个时刻的状态变化。该方法包括以下步骤：1对多数据流数据参数进行收集；2对检测算法进行初始化；3在单数据流滑动窗口中查找当前时刻到达的数据对象的k邻域集合并计算其局部离群系数；4更新各个数据流当前数据对象的邻域对象的局部离群系数；5计算基于单数据流的离群信息对数据流当前时刻异常状态判断的参考价值；6计算基于数据快照的多数据流离群信息对数据流当前时刻异常状态判断的参考价值；7计算各数据流当前的离群系数；8判定当前时刻各数据流的异常状态；9更新数据流的滑动窗口数据集和数据快照集。

技术领域

本发明涉及一种面向多数据流的异常状态检测方法，属于计算机科学技术领域。

背景技术

随着社会信息化程度和数据采集自动化程度的不断提高，许多的应用领域出现了海量的、连续到达的、快速的数据流。数据流中的离群点所蕴含的挖掘价值受到了研究者和工业界广泛的关注。作为一种基础且重要的数据挖掘手段，基于数据流的离群检测已经成为一个研究热点，并取得了一系列的研究成果。目前数据流的离群检测广泛应用于网络安全、信用卡欺诈、工业损检等。传统的数据流离群检测技术主要是针对单数据流，而多数据流的离群检测技术还较少。随着各种自动化生产规模的不断扩大和传感器技术的不断发展，由大规模系统监测产生的多数据流异常监测的应用越来越广泛，如大规模机群系统的稳定性管理，大规模科学观察、网络日志分析和安全监控系统等。

在多数据流中查找出现的异常行为是异常检测需要处理的问题。在多数据流管理系统中，各条数据流之间往往并非完全独立，而是存在相关性的。比如对于同一水源的供水网络，在正常情况下在各个用户的出水口氯浓度相似。而大规模的机群系统各个节点共同支撑着系统的各种分布式存储与计算，同时各个节点的物理配置和负载量也往往相似。因此对于相互关联的数据流来说，一旦发现它们之间的相关性被破坏，则可断定在这些数据流中存在有异常情况。同时对于独立的单数据流，由于自身就是一个连续的变化过程，因此各个时刻的数据存在着自身的关联性。因此对于独立的单数据流，当它自身的关联性被破坏的时候，则可以判定该数据流发生异常情况。另外，对于多数据流系统，它们的历史状态信息对当前时刻状态的判断具有重要的参考价值，充分考虑历史时刻的状态信息将提高算法的准确性。但是现有的多数据流离群检测算法主要是通过监测多数据流间的相关性来检测异常，而忽略单数据流自身的关联性和历史数据的状态信息的参考价值。因此，本发明综合考虑多数据流之间的相关性，单数据流内部的关联性和各个数据流数据的历史状态信息，利用基于滑动窗口和基于数据快照的离群检测技术，研究一种基于多数据流的异常检测方法。

发明内容

本发明提供一种面向多数据流的异常状态检测方法，同时考虑多数据流之间的相关性和单数据流内部的关联性，并综合参考历史数据的离群信息来量化各个数据流的离群值。对于单数据流，采用基于滑动窗口模型对当前的数据信息进行离群量化，并通过结合指数衰减函数来表示窗口中历史数据的离群信息对当前异常状态判定的参考价值。对于多数据流，采用基于数据快照模型对当前的各个数据流数据进行离群量化，并通过指数衰减函数来表示各个数据流在历史的快照数据集中的离群信息对当前状态判定的参考价值。

具体来说，本发明提供了一种面向多数据流的异常状态检测方法，该方法包括：

步骤1，对多数据流数据参数进行收集；

步骤2，对检测算法进行初始化；

步骤3，在单数据流滑动窗口中查找当前时刻到达的数据对象的k邻域集合并计算其局部离群系数；

步骤4，更新各个数据流当前数据对象的邻域对象的局部离群系数；

步骤5，计算基于单数据流的离群信息对数据流当前时刻异常状态判断的参考价值；

步骤6，计算基于数据快照的多数据流离群信息对数据流当前时刻异常状态判断的参考价值；

步骤7，计算各数据流当前的离群系数；