[发明专利]一种基于散度和EWMA的概念漂移检测方法

权利要求书

1.一种基于散度和EWMA的概念漂移检测方法，其特征是按如下步骤进行：

步骤一：从数据流中划分滑动窗口，并基于窗口数据来构建该窗口的数据分布函数。

步骤二：用Jensen-Shannon散度来衡量滑动窗口之间数据分布的差异。

步骤三：通过EWMA(指数加权移动平均)的假设检验方式来判断是否产生概念漂移，并在检测到概念漂移后重新训练新的分类器来适应后续的数据。

2.根据权利要求1所述一种基于散度和EWMA的概念漂移检测方法，其特征在于：所诉步骤一中，让x₁，x₂，…表示数据流，其中每个x_i表示一个数据实例，w＝{x₁，x₂，…，x_n}表示n个数据的数据窗口。我们使用双窗口机制，其中一个窗口中的数据用于构建初始分布，它保持相对固定，并在检测到概念漂移时对其进行更新。另一个窗口用于跟随数据流进行滑动，从而表示数据流中最新的数据分布。将滑动窗口和固定窗口内的数据通过数据频率的形式映射到对应窗口的数据分布，其计算式为其中N(x|w)表示窗口w内特征向量x的数量，n表示窗口大小。采用数据频率的形式，将窗口内的属性以频率的形式计算出来，各个属性频率的结合构成当前窗口的数据分布函数。在没有概念漂移时仅滑动第二个窗口，当检测到概念漂移后，固定的窗口不再能代表之前的数据分布，故选择当前检测到概念漂移的数据窗口作为固定窗口，第二个窗口则按照前面的方式继续进行滑动。

3.根据权利要求1所述一种基于散度和EWMA的概念漂移检测方法，其特征在于：所诉步骤二中，Jensen-Shannon散度是常被用于量化两个概率分布之间差异性的方法。我们通过步骤一获取到窗口之间的数据分布，然后通过两个窗口之间的数据分布函数带入到Jensen-Shannon散度计算式中计算数据分布之间的差异。其中Jensen-Shannon散度的计算式为这样就得到了两个窗口之间的差异性度量值。

4.根据权利要求1所述一种基于散度和EWMA的概念漂移检测方法，其特征在于：所诉步骤三中，加权移动平均是对观察值分别给予不同的权重，按不同权重求得移动平均值，并以移动平均值为基础，确定预测值的一种方法。采用加权移动平均法，是因为观察期的近期观察值对预测值有较大影响，它更能反映近期变化的趋势。在任意时刻当前滑动窗口的EWMA统计量表示为z_i＝λj_i+(1-λ)z_i-1其中z_i表示未发生概念漂移的第i个滑动窗口的EWMA值；λ表示EWMA对历史量的权重系数，其值越接近于1，表示对历史量的权重越低；j_i表示上一个窗口所计算的Jensen-Shannon散度值。在数据流的不断到来下就可以通过EWMA的计算值以及均值方差等来设置一个可变的上下限阈值。用UCL和LCL分别表示阈值的上下限，其计算公式为其中μ表示未发生概念漂移时当前窗口之前所计算的EWMA的平均值，σ表示未发生概念漂移时当前窗口之前所计算的EWMA的总体方差。当i逐渐增大时，(1-λ)²ⁱ很快就会收敛为零，但当i较小时，保留这部分有利于提高EWMA的效果。L作为一个控制限宽系数，可以根据漂移时检测到的Jensen-Shannon散度的差异变化来动态调整，以适应更多的漂移类型。在计算了各个统计量之后就可以判断数据流中当前滑动窗口内的数据是否发生了概念漂移。例如计算当前的EWMA统计量z_i以及根据历史数据计算的上下限UCL和LCL之后，当z_i不满足在上下限阈值范围内时就给出概念漂移信号，这时分类模型就重新用当前窗口内的数据训练一个新的分类器，用它来进行后续数据流的分类，以适应新的数据。如果z_i在阈值范围内则未发生概念漂移，将该滑动窗口内数据用于增量训练之前的分类器，用以提高后续分类精度，然后继续划分后续的数据流窗口进行处理。