[发明专利]一种支持动态更新的在线属性异常点检测方法

摘要

本发明公开了一种支持动态更新的在线属性异常点检测方法。通过分析实际应用及用户需求，提出全新的属性异常点定义，在考虑数据集内部各个数据点间属性相关性的前提下检测异常点，提供相对于传统定义更加有效的异常信息，结合实际流数据系统应用，通过使用滑动窗口、在线聚类方法达到支持对动态更新的流数据进行在线属性异常点检测，能够为用户提供实时检测结果反馈。并且针对流数据系统应用中实际出现的系统过载情况，提出一套有效的降载方法，能够保证检测方法在海量的流数据更新情况下仍能实时反馈检测结果，且结果误差在用户可控范围，达到检测方法在运行效率和结果精度之间的有效平衡。

主权项

一种支持动态更新的在线属性异常点检测方法，其特征在于该方法的步骤如下：(1)选取符合流数据系统在数据生成、检测方式和用户需求三方面的要求的数据模型维护持续动态更新的流数据；(2)使用在线聚类方法对流数据进行持续动态聚类，实现基于数据属性相关性的聚类划分；(3)动态维护流数据更新下的聚类划分，并持续更新数据点之间的邻居关系和距离信息，在线维护聚类相关信息，随着数据的动态更新保持维护相关概要信息结构；(4)建立数据降载方法，根据流数据系统中实际负载以及对实时性的要求，选取能够达到流数据系统实时性要求的降载方法以及近似技术保证检测方法的实时完成，并能保证最后近似结果的误差可控；(5)根据聚类划分及数据点邻居两方面相关数据信息及属性异常点评价方法，在每个聚类划分中检测异常点作为最终属性异常点结果输出。