[发明专利]一种基于散度和EWMA的概念漂移检测方法

说明书

本发明公开了一种基于散度和EWMA的概念漂移检测方法，目的是通过衡量划分的滑动窗口之间的数据分布差异来检测数据流是否产生概念漂移，其步骤为：1、从数据流中划分滑动窗口，并基于窗口数据来构建该窗口的数据分布函数。2、用Jensen‑Shannon散度来衡量滑动窗口之间数据分布的差异。3、通过EWMA(指数加权移动平均)的假设检验方式来判断是否产生概念漂移，并在检测到概念漂移后重新训练新的分类器来适应后续的数据。

技术领域

本发明属于数据流处理领域，具体来说是一种无监督在线的基于散度和EWMA(指数加权移动平均)的概念漂移检测方法。

背景技术

过去处理的数据往往是静态数据，可以存储在内存中并对整个数据集进行处理。但是随着信息技术高速发展，数据出现了以流的形式源源不断到达。数据流与传统的数据相比，其数据量大，实时到达，而且数据一旦处理完毕，就不能再拿出来处理，除非刻意将数据保存下来。现实环境中的数据可能具有动态行为，概念会发生变化，这就是所谓的概念漂移问题。

概念漂移的定义是指在给定时间段[0，t]，该时间段内的数据流表示为S_0，t＝{d₀，…，d_t}，其中d_i＝(X_i，y_i)表示数据流中的一个数据实例，X_i为特征向量，y_i为标签，并且数据流S_0，t遵循某个分布F_0，t(X，y)。如果出现F_0，t(X，y)≠F_t+1，。。(X，y)，则表示在时刻t+1发生概念漂移，表示为P_t(X，y)≠P_t+1(X，y)。也就是说在时刻t前后同样的特征向量分类结果的概率发生变化。

当被收集的数据的概念在一个最小的稳定期后发生变化时，就会发生概念漂移。这种变化反映在传入的实例中，并降低了从过去的训练实例中学习的分类器的准确性。现实生活中概念漂移的例子包括监控系统、金融欺诈检测、垃圾邮件分类、天气预测和客户偏好等。

因此本文利用信息论相关知识，提出了一种基于Jensen-Shannon散度和EWMA的无监督在线概念漂移检测方法。该方法可以在没有真实标签的情况下检测到概念漂移，并且能够有效地检测出概念漂移，而且重新训练的分类器能够有效地提高后续数据的分类精度。

发明内容

本发明的目的在于解决生产生活中可能存在的概念漂移问题，主要内容为提供一种无监督环境下的基于Jensen-Shannon散度和EWMA的概念漂移检测方法，该方法通过衡量划分的滑动窗口之间的数据分布差异来检测数据流是否产生概念漂移，该方法可以高效、快速、准确的检测概念漂移。

本发明的基于Jensen-Shannon散度和EWMA的无监督在线概念漂移检测方法，包括如下步骤：

步骤一：从数据流中划分滑动窗口，并基于窗口数据来构建该窗口的数据分布函数。

步骤二：用Jensen-Shannon散度来衡量滑动窗口之间数据分布的差异。

步骤三：通过EWMA(指数加权移动平均)的假设检验方式来判断是否产生概念漂移，并在检测到概念漂移后重新训练新的分类器来适应后续的数据。

进一步地，所述步骤一的具体过程如下：