[发明专利]一种面向进化数据流的实时聚类方法

说明书

本发明提供一种面向进化数据流的在线聚类方法。技术方案包括下述步骤：①建立有效类集合、消失类集合、离群点集合的步骤；②对当前时刻获得的待处理点归入某个集合的步骤；③更新离群点集合、有效类集合和消失类集合的步骤。本发明针对进化数据流中典型的三种进化形式(即类的出现、消失与复现)分别设计了检测函数，并进行了整合统一，提高数据流聚类方法的稳定性，扩展了数据流聚类方法的应用范围。

技术领域

本发明属于数据流聚类技术领域，具体是涉及一种面向进化数据流的动态聚类方法。

背景技术

数据流，是指实时流入的数据，区别于传统的批量式获取的数据，通常按数据分布是否发生变化分为静态数据流(数据分布不变化)以及进化数据流(数据分布变化)，进化数据流也被称为动态数据流。目前，数据流已成为信息社会的主要数据形式之一，如金融交易数据、通信记录数据、传感观测数据等。数据流聚类技术是指通过某种聚类手段来实现数据流的分析，其凭借不依赖先验信息的强大优势目前成为数据流挖掘的主要手段之一。

目前，数据流聚类方法主要针对的是静态数据流。实际上，现实中的数据流普遍具有进化特性(或称动态特性)，即数据流数据动态流入过程中会进行如新类出现、旧类消失、旧消失类复现(以下分别简称为出现、消失、复现)等进化形式。在实际应用中，检测这些普遍存在的进化形式通常对用户具有更重要的意义，如可用来实现在天文学、医药、金融、网络等领域的监测和观察目的等。因此，迫切需要针对进化数据发展数据流聚类技术。其意义在于，一方面这将提高用户关于数据流当前聚类模式以及各类的进化的全面的理解；另一方面，也帮助用户在所有数据到达之前便做出准确的判断，如寻找网络异常侵入时间、估计给定时间段的类数以及寻找最优调整时间。尽管国内外学者已就面向进化数据流的数据流聚类技术展开了许多尝试，但主要针对的新类出现这一进化形式展开，这严重限制了数据流聚类算法的应用范围，因此，有必要扩展数据流聚类技术处理多种进化形式数据的能力。

发明内容

本发明提供一种面向进化数据流的在线聚类方法，针对进化数据流的三种典型的进化形式，即出现、消失、复现，分别设计了检测策略，并设计了处理框架，同时将三种检测策略进行了整合，从而实现了本发明对进化数据流的实时聚类，能够使得数据流中的新类及时地加入、消失的类及时地被移除、以及复现的类被及时恢复而不需要重新再形成。

本发明的技术方案是：一种面向进化数据流的实时聚类方法，其特征在于，包括下述步骤：

①建立有效类集合、消失类集合、离群点集合的步骤；

②对当前时刻获得的待处理点归入某个集合的步骤；

③更新离群点集合、有效类集合和消失类集合的步骤。

其中：

①建立有效类集合、消失类集合、离群点集合的步骤；

其中有效类集合的初始值是收集一定量数据，再利用静态聚类方法对初始化集合进行聚类而得到的结果的集合；消失类集合的初始化值为空集；离群点集合的初始化值为空集。

②对当前时刻获得的待处理点归入某个集合的步骤，包括：

首先计算待处理点与有效类集合以及消失类集合中的类的欧式距离，并求最小值；

然后对上述最小值与预定离群点门限进行比较：若最小值大于上述门限，则将待处理点分入到离群点集合中；若最小值小于或等于上述门限，则将待处理点分入最小值对应集合的类中。

③更新离群点集合、有效类集合和消失类集合的步骤：

(a)更新离群点集合的步骤：